梯度爆炸，CNN中batch normalization应该放在什么位置

本文目录一览

1，CNN中batch normalization应该放在什么位置
2，深度学习中 Batch Normalization为什么效果好
3，为什么deep learning 能抑制梯度消失或者爆炸的问题
4，训练深度学习网络时候出现Nan是什么原因怎么才能避免
5，梯度磁法勘探如何解释
6，升降椅爆炸原因

1，CNN中batch normalization应该放在什么位置

有两种位置。论文作者建议放在affine后面，affine-BN-非线性函数也有人发现，放在激活函数后面效果也不错。

深度网络层次太多后，信号和梯度越来越小，深层难以训练。被称作梯度弥散。也有可能越来越大，又被称作梯度爆炸。

CNN中batch normalization应该放在什么位置

2，深度学习中 Batch Normalization为什么效果好

深度网络层次太多后，信号和梯度越来越小，深层难以训练。被称作梯度弥散。也有可能越来越大，又被称作梯度爆炸。batchnormalization，可以把过大或过小的信号进行归一化。有效避免上述问题，使得深度学习网络更容易训练。所以效果好。：）

优化文件，删除多余的构造历史，把batch render设置勾选auto，或者根据机器配置设置合理的参数查看更多答案>>

深度学习中 Batch Normalization为什么效果好

3，为什么deep learning 能抑制梯度消失或者爆炸的问题

肯定要学会神经网络啊，因为深度学习本身就是知神经网络算法，之所以叫深度学习是为了突出深度这个词。这个深度代表很多的神经网络的层数。因为以前所说的神经网道络算法没有好的训练方法，最终训练的神经网络有2到3层就是极限了，对于很多应用来说没有实际价值。以前的主流神经网络训练方法叫反向传播，但是也解决不了随着神经网络层数的增加而梯度消失的问回题。在2006年由Geffry Hiton提出使用逐层贪婪预训练的方式，使得神经网络可以高效的训练，层数可以达到很多层，加上云计算在计算能力上的主推，使得神经网答络有了很大的实用价值。你初学的话只要知道深度学习就是神经网络，只是深度上有突破就可以了。可以参考小面的文章。

为什么deep learning 能抑制梯度消失或者爆炸的问题

4，训练深度学习网络时候出现Nan是什么原因怎么才能避免

一般最常见的原因就是log（0），做softmax很容易遇到。解决方法要看你用的框架，一般都是自动处理的

说明训练不收敛了, 学习率太大，步子迈的太大导致梯度爆炸等都是有可能的，另外也有可能是网络的问题，网络结构设计的有问题。我现在的采用方式是：1. 弱化场景，将你的样本简化，各个学习率等参数采用典型配置，比如10万样本都是同一张复制的，让这个网络去拟合，如果有问题，则是网络的问题。否则则是各个参数的问题。2. 如果是网络的问题，则通过不断加大样本的复杂度和调整网络（调整拟合能力）来改变。3. 参数的微调，我个人感觉是在网络的拟合能力和样本的复杂度匹配的情况下，就是可以train到一定水平，然后想进行进一步优化的时候采用。

5，梯度磁法勘探如何解释

水平梯度测量、梯度测量主要是研究异常沿水平方向和垂直方向的变化率。水平梯度最大的地方，通常为矿体的边界。垂直梯度增加的方向指向矿体的方向。

梯度测量分垂直梯度测量和水平梯度测量，在原质子旋进磁力仪中，为双探头瞬间测量，两个探头的测量值相差除以两探头的间距（一般为0.9米），探头沿垂直或水平方向放置。搞过重磁数据处理的都知道，垂直导数和水平导数，和数学求导一样，(V2-V1)/(x2-x1)。其物理意义是对探测目的物的分辨能力较高而已，在磁测工作时，当要确定地质体的边界时，采用进行野外梯度测量。当然也可进行求导计算，两种方法有区别，主要是误差传递影响。也可对目的物的埋深进行估算。可查阅地球物探数据处理手册。在实际工作中，用的比较多的是在文物勘探上。

6，升降椅爆炸原因

市面上的升降椅使用的升降装置分为3类———油压、机械式和气压式。在低端的升降椅中以气压的居多。气压式升降椅里有个气缸，气缸内的活塞气动杆上下运动支配椅子升降，正规厂家均采用氮气填充，浓度一般在99％以上，压力在一两个大气压左右。这种正规的升降椅，一般有三种情况可能发生爆炸：一是氮气纯度不足，在高温环境或摩擦过于频繁的情况下，会导致气缸温度骤升、压力变大，可能发生爆炸；二是气缸容器壁不够坚固或是材质差，可能发生爆炸；三是封口密封不严密，导致气体迸出。有些黑厂家为压低成本，填充的甚至是高压空气，更容易引起爆炸。升到最高处、低处无所谓，关键看质量，是否正品。所以说，如果不是正规厂家生产的升降椅不要用，不怕一万、就怕万一。

英文说的是不要靠近太热的东西不要拆开无法看出厂家做到四点避免爆炸业内人士说，虽然爆炸是小概率事件，但可能性还是存在，这就需要消费者提高警惕，做到以下四点：一、务必购买正规厂家生产的升降椅，切勿贪图便宜购买劣质货；二、椅子在使用时，不要反复升降；三、如果不是专业人士，不要拆开气缸，也不要让椅子靠近太热的东西，比如烤火炉或烤箱；四、使用一段时间后，应该及时让专业人员检查，一旦发现裂痕、松动迹象，应及时维修更换。不过，这位业内人士最后强调，正规厂家生产的产品一般不会有问题，大家还是可以放心使用的。