1. 基本等式
定义式:
xTAx=∑i,jxixjAij 化简
(wTx−wTm)2=wT(x−m)(x−m)Tw=wTAw 简单证明如下:
(wTx−wTm)2=(wTx)(wTx)+(wTm)(wTm)−2wTxwTm=wTxxTw−2wTxmTw+wTmmTw=wT(x−m)(x−m)Tw=wTAw
2. 性质
xTWy=yTWx 代码证明
x = np.random.rand(3) W = np.random.rand(3, 4) y = np.random.rand(4) x.dot(W.dot(y)) y.dot((W.T).dot(x)) # 两者是相等的;
理论证明:
xTWy====∣∣∣∑ixiWi1∑ixiWi2⋯∑ixiWin∣∣∣⋅y∑jyj(∑ixiWij)∑ijxiWijyj=∑ijyj(W′)jixiyTWx 显然有,
Aij=(A′)ji
3. 二次型是标量
就像行列式是标量一样;
比如对于主成分分析 PCA 的推导而言,
4. 梯度计算
求