神经网络和Deep Learning

参考资料：

在线免费书籍 http://neuralnetworksanddeeplearning.com/chap1.html

---

 Chapter 1

1.  perceptron 感知机

• it's a device that makes decisions by weighing up evidence. Just single output.
• inputs 0 or 1（with weights），compared to threshold， then output 0 or 1.

 其中，   ； 

• threshold could be simplified as bias;

 其中 b= - threshold， is called bias.

• layers：input layer，hidden layer，output layer

                        hidden layers(not input and not output)

 2. Sigmoid neuron

形式类似于Perceptron, 但是输入输出的值略有变化。这样微小的权重变化，不会引起大的output变化；而Perceptron无法保证。

（small changes Δwj in the weights and Δb in the bias will produce a small change Δoutput in the output from the neuron）

• input :   [0,1] 
• output:  =, 其中σ 为sigmoid函数，作用于output.