TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

zoukankan html css js c++ java

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

一、总结

一句话总结：

对于多层的神经网络，当由后向前传播时，因为本来就有误差，传到某一层的时候，要么梯度不更新（梯度消失），要么梯度特别大（梯度爆炸），这两种情况都不能很好的更新网络

1、[784,w,h,b]中的b一般表示什么意思？

b表示batch，比如一个batch有多张图片，如果是分10类的话，那么输出可以写成[10,b]

二、内容在总结中

博客对应课程的视频位置：

我的旨在学过的东西不再忘记（主要使用艾宾浩斯遗忘曲线算法及其它智能学习复习算法）的偏公益性质的完全免费的编程视频学习网站： fanrenyi.com；有各种前端、后端、算法、大数据、人工智能等课程。

版权申明：欢迎转载，但请注明出处
一些博文中有一些参考内容因时间久远找不到来源了没有注明，如果侵权请联系我删除。

博主25岁，前端后端算法大数据人工智能都有兴趣。

大家有啥都可以加博主联系方式（qq404006308，微信fan404006308）互相交流。工作、生活、心境，可以互相启迪。

聊技术，交朋友，修心境，qq404006308，微信fan404006308

26岁，真心找女朋友，非诚勿扰，微信fan404006308，qq404006308

人工智能群：939687837

作者相关推荐

感悟总结

其它重要感悟总结

感悟总结200813 最近心境200830 最近心境201019 201218-210205

查看全文

相关阅读:
重构前的程序：通过rsync命令抓取日志文件
 标准输入、输出和错误和文件重定向
 错误处理的思考
 测试和恢复性的争论：面向对象vs.函数式编程
 哈佛经济学家关于工作效率的意外发现
 追求代码质量: 监视圈复杂度
 天猫程序猿高端算法找妹子
 代码度量工具——SourceMonitor的学习和使用
 我们能从java的HelloWorld学到什么？
Java高新技术第二篇：反射技术

原文地址：https://www.cnblogs.com/Renyi-Fan/p/13491084.html

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

一、总结

一句话总结：

对于多层的神经网络，当由后向前传播时，因为本来就有误差，传到某一层的时候，要么梯度不更新（梯度消失），要么梯度特别大（梯度爆炸），这两种情况都不能很好的更新网络

1、[784,w,h,b]中的b一般表示什么意思？

b表示batch，比如一个batch有多张图片，如果是分10类的话，那么输出可以写成[10,b]

二、内容在总结中

作者相关推荐