本文为Coursera上吴恩达的机器学习视频中未推导的一个公式,在此不对该公式由来进行解释,只附上本公式的推导过程,涉及许多线代知识。
本文转载自:https://blog.csdn.net/chenlin41204050/article/details/78220280
设有m个训练实例,每个实例有n个特征,则训练实例集为:

其中
表示第i个实例第j个特征。
特征参数为:

输出变量为:

故代价函数为:

进行求导,等价于如下的形式:

其中第一项:

第二项:

该矩阵求导为分母布局下的标量/向量形式:
故有,

第三项:

该矩阵求导为分母布局下的标量/向量形式:
故有:

第四项:

其中
为标量,可看成一个常数。
该矩阵求导为分母布局下的标量/向量形式:
故有:

综上,正规方程为:

最终可得特征参数的表示:
