TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

zoukankan html css js c++ java

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

一、总结

一句话总结：

对于多层的神经网络，当由后向前传播时，因为本来就有误差，传到某一层的时候，要么梯度不更新（梯度消失），要么梯度特别大（梯度爆炸），这两种情况都不能很好的更新网络

1、[784,w,h,b]中的b一般表示什么意思？

b表示batch，比如一个batch有多张图片，如果是分10类的话，那么输出可以写成[10,b]

二、内容在总结中

博客对应课程的视频位置：

我的旨在学过的东西不再忘记（主要使用艾宾浩斯遗忘曲线算法及其它智能学习复习算法）的偏公益性质的完全免费的编程视频学习网站： fanrenyi.com；有各种前端、后端、算法、大数据、人工智能等课程。

版权申明：欢迎转载，但请注明出处
一些博文中有一些参考内容因时间久远找不到来源了没有注明，如果侵权请联系我删除。

博主25岁，前端后端算法大数据人工智能都有兴趣。

大家有啥都可以加博主联系方式（qq404006308，微信fan404006308）互相交流。工作、生活、心境，可以互相启迪。

聊技术，交朋友，修心境，qq404006308，微信fan404006308

26岁，真心找女朋友，非诚勿扰，微信fan404006308，qq404006308

人工智能群：939687837

作者相关推荐

感悟总结

其它重要感悟总结

感悟总结200813 最近心境200830 最近心境201019 201218-210205

查看全文

相关阅读:
1.7 All components require plug-in?
1.6 Why only in China?
1.5 A better alternative thing: React Native
1.4 The usage of plug-in
1.3 History of Android Plug-in Programing
SQL Server 查询请求
 matplotlib 绘图的核心原理
 数据加密第六篇：透明文件加密
 数据加密第五篇：非对称密钥
 SSIS 数据类型第二篇：变量的数据类型

原文地址：https://www.cnblogs.com/Renyi-Fan/p/13491084.html

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

一、总结

一句话总结：

对于多层的神经网络，当由后向前传播时，因为本来就有误差，传到某一层的时候，要么梯度不更新（梯度消失），要么梯度特别大（梯度爆炸），这两种情况都不能很好的更新网络

1、[784,w,h,b]中的b一般表示什么意思？

b表示batch，比如一个batch有多张图片，如果是分10类的话，那么输出可以写成[10,b]

二、内容在总结中

作者相关推荐