机器学习之线性递归

一、先弄清楚机器学习的几个概念：

• 训练集：训练样本，每个样本都由表示要学习的特征集（输入变量）和目标（输出变量）

　　　设训练样本数为m

•   输入特征变量input : x  其中每个样本用 表示（第i个样本），样本中每个特征/输入用表示（第i个样本中的第j个特征）
•   输出特征/变量output : y     其中每个样本用 表示（第i个样本），每个样本只有一个输出。
•   更新参数/权值 weight : theat   每个输入x对应一个theta, 用表示

　　因此第i个样本集用表示。

二、监督的机器学习算法主要分为这三个部分：

　　1. 假设函数：（无法直接插入公式啊，就不费劲了，这些公式网上很容易找到）

　　2. 花费函数：以参数theta为自变量，根据假设函数求出训练集的每对数据的值与真实值的差值做比较，依据某一标准函数，最小化这个花费函数

　　　 最小二乘法（min square）： 差值的平方和最小（最常用的方法）,  因为它是一个碗状的凹进去的误差曲面，花费函数即是误差函数的另一种表达

　　3. 优化方法：不同的优化方法有不同的权值更新，通过权值更新来更新假设函数，从而使花费函数最小化

　　　 梯度下降法：沿着误差曲线或曲面的梯度方向，更新权值, 即权值的更新是基于梯度更新的。用公式表示为：。其中表示误差曲面的梯度，表示下降速度（学习速度）。在多维向量中，梯度也是一个向量，有方向和大小，这个公式说明权值就沿着这个方向，大小与学习速度成正比。如下图权值的更新方向看出它始终沿着梯度相反方向改变。 

　　因此权值的更新方程为：

　　标量形式表示每个参数分量的更新分别与其对应的偏导。

例子：

假设你打算在某个城市开一所饭馆，只考虑人口对收益的影响，现在有关于人口与收益的数据，能否根据那个城市的人口预测出收益。

这里因为只考虑人口这一因素，设人口为X,收益为Y,  则Matlab的花费代码如下：

function J = computeCost(X, y, theta)
m = length(y); % number of training examples
J = 0;
H = X * theta;
J = 1.0 ./ (2 * m) * sum( (H - y) .^ 2);
End

梯度计算代码：

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)
%GRADIENTDESCENT Performs gradient descent to learn theta
%   theta = GRADIENTDESENT(X, y, theta, alpha, num_iters) updates theta by 
%   taking num_iters gradient steps with learning rate alpha
% Initialize some useful values
m = length(y); % number of training examples
J_history = zeros(num_iters, 1);
for iter = 1:num_iters
     H = X * theta;
    theta = theta - (alpha * 1.0) / m .* (X' * (H - y));
    J_history(iter) = computeCost(X, y, theta);
end

预测结果代码：

% Predict values for population sizes of 35,000 and 70,000
predict1 = [1, 3.5] *theta;
fprintf('For population = 35,000, we predict a profit of %f
',...
    predict1*10000);
predict2 = [1, 7] * theta;
fprintf('For population = 70,000, we predict a profit of %f
',...
    predict2*10000);

绘制误差曲面：

% Grid over which we will calculate J
theta0_vals = linspace(-10, 10, 100);
theta1_vals = linspace(-1, 4, 100);
 
% initialize J_vals to a matrix of 0's
J_vals = zeros(length(theta0_vals), length(theta1_vals));
 
% Fill out J_vals
for i = 1:length(theta0_vals)
    for j = 1:length(theta1_vals)
      t = [theta0_vals(i); theta1_vals(j)];    
      J_vals(i,j) = computeCost(X, y, t);
    end
end
% Because of the way meshgrids work in the surf command, we need to 
% transpose J_vals before calling surf, or else the axes will be flipped
J_vals = J_vals';
% Surface plot
figure;
surf(theta0_vals, theta1_vals, J_vals)
xlabel('	heta_0'); ylabel('	heta_1');

绘制等高线和最后计算的权值：

% Plot J_vals as 15 contours spaced logarithmically between 0.01 and 100
 contour(theta0_vals, theta1_vals, J_vals, logspace(-2, 3, 20))
 xlabel('	heta_0'); ylabel('	heta_1');
 hold on;
 plot(theta(1), theta(2), 'rx', 'MarkerSize', 10, 'LineWidth', 2);

原始数据和计算出来回归函数下图：

误差曲面图：

等高线图：

可见，最后权值所在全局最小值处。

 对特征值归一化：

 求平均值和标准差：

mu = mean(X);
sigma = std(X);
X_norm = [X(:,1) / sigma(1), X(:,2) / sigma(2)];

             （1）