损失函数:
引入激活函数可以有效避免仅使用∑(x,w)的纯线性组合,提高了模型的表达力,使模型具有更好的区分度
学习率:
滑动平均:
正则化:
神经网络搭建八股:
将正则化中opt4_7.py用上述模块化设计思想重新设计,程序使用正则化提高泛化性,用指数衰减学习率提高优化效率
分为三个模块:生成数据集 generateds.py 前向传播 forward.py 反向传播 backward.py