Machine Learning 之怎样完成矩阵的参数求导.

感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30678.html

函数f(x)关于向量x的梯度

函数f(x)关于向量X^T的梯度

m维行向量函数f(x)=(f1(x),...,fm(x))关于向量x的梯度

f(A)关于m*n矩阵A的的梯度

对向量的偏导数

XTAy可以看成内积<x,Ay>，那么对x求偏导就是Ay

y^{TAx可以看成内积<y,Ax>,进而可以变为<A}Ty,x>,所以对x求偏导就是A^Ty

X^{TAX可以堪称内积<x,Ax>,由于两个边都有，当对左边求偏导结果是Ax，此时变为<A}Tx,x>继续对右边求偏导结果就是A^{Tx,那么两个接起来就是Ax+A}Tx

迹函数的梯度矩阵

对于一个n阶方阵A的迹被定义为方阵A的主对角线的元素之和，通常对方阵的求迹操作写成trA,于是我们有

常用的矩阵迹的微分：

常用的迹函数的梯度矩阵举例：

如上所示迹是对角线上的元素和，所以对A求偏导，此时矩阵A的非对角线上的元素为0，对角线上的元素为1

如上所示迹AB对A求偏导数，对Apl的结果为Blp,那么也就是B矩阵的转置了