1.Mul（哈达玛积：对应相乘）
设：
则根据偏导数的定义得：
同理可得：
2.MatMul（矩阵乘）
矩阵乘的偏导与元素的顺序是相关的.
设：
那么：
根据矩阵相容的原理：
可见矩阵的偏导数是另一个矩阵的转置，但是在用链式法则的时候需要保持和原来一直的顺序，意思是原来矩阵乘的元素在前面时，应用链式法则的时候还在前面，在后面时应用链式法则的时候，相对位置也在后面.
3.softmax
softmax with crossEntropyLoss的导数很简单，结果就是y’-y. 相比很多人都知道，网上也有很多的证明. 但是softmax的导数有时候也要单独使用，在tf源码中的tensorflow/cc/gradient/nn_grad.cc文件下，softmaxGrad函数中有段注释，意思是softmax的导数计算结果是：dL/dx = (dL/dy - sum(dL/dy * y)) * y.
其中L=f(y)，代表loss. y和x都是矩阵，维数都是[batch,class].但是文件中只有注释没有证明，在此记录下推导过程.
推导：
假设y的列数是3，其第k行元素为:
则有：
推导过softmax log-likelihood损失函数的朋友，应该很容易得到：
于是可以求出：
带入并化简得（以第一个元素为例）：
同理可得第二个和第三个元素为：
写成向量形式为：
其中*代表hadmard product. 这是对每一行的求导结果. 写成矩阵形式得到：
上式即是注释当中的结果.