神经网络——随机初始化

如果将所有的Θ初始化为0会怎样？

如果

[Theta _{ij}^{left( l ight)} = 0]

那么

[egin{array}{l}
a_1^{left( 2 ight)} = a_2^{left( 2 ight)}\
delta _1^{left( 2 ight)} = delta _2^{left( 2 ight)}\
frac{partial }{{partial Theta _{01}^{left( 1 ight)}}}Jleft( Theta ight) = frac{partial }{{partial Theta _{02}^{left( 1 ight)}}}Jleft( Theta ight)\
...
end{array}]

这就导致

After each update, parameters corresponding to inputs going into each of two hidden units are identical

在每次更新之后，对应于进入两个隐藏单元中的每一个的输入的参数是相同的

---

解决方法是随机生成参数值