先说结论，BP算法=梯度下降+链式求导。
梯度下降一种无约束优化方法，以负梯度作为搜索方向，所以叫梯度法，在最优化理论里正常叫“最速下降法”。这是一个求解极值问题的古老算法，1847年由柯西（Cauchy）提出。迭代公式为：
[x^{k+1}=x^{k}-alpha_k riangledown f(x^k),quad k=0,1,...
]
在多层神经网络里，求梯度就需要数学里的链式法则。
BP算法就是一个对多层神经网络的损失函数进行无约束优化求最小值的算法。经过BP算法训练过的网络，节点的权重就是参数空间里使得误差最小的一组最优参数。
用深度学习的方法来学习特征，最主要的就是端到端的联合优化，通过强大的算力进行全局优化算出最优参数，其实和传统做法只是参数获取渠道不一样，传统做法需要通过人工设计特征来学习分类。