矩阵微积分

• wiki百科
• tensorflow自动求导
• 矩阵计算两种布局（wiki的中文翻译）
• pytorch自动求导
• 一些简单的证明
• 知乎 学习机器学习，遇到关于矩阵（矩阵求导，矩阵范数求平方之类)的公式看不懂，怎样补足数学基础？
• Pytorch中的自动求导函数backward()所需参数含义

上面这个文章中的例子 你自己换一些不太好的数字，更容易懂。
比如

out的第一行和第二行分别对e求导加起来就是w.grad的第一行

• 梯度下降法 经典的优化方法-张磊的文章 - 知乎