Stanford coursera Andrew Ng 机器学习课程编程作业（Exercise 1）

Exercise 1：Linear Regression---实现一个线性回归

在本次练习中，需要实现一个单变量的线性回归。假设有一组历史数据<城市人口，开店利润>，现需要预测在哪个城市中开店利润比较好？

历史数据如下：第一列表示城市人口数，单位为万人；第二列表示利润，单位为10,000$

    5.5277    9.1302
    8.5186   13.6620
    7.0032   11.8540
    .....
    ......

用Matlab画出的图形如下：首先加载数据，将data中的第一列数据保存到X中，将data中的所有行的第2列数据保存到y中

data = load('ex1data1.txt'); %加载数据
X = data(:, 1); y = data(:, 2);
m = length(y); % number of training examples

% Plot Data
% Note: You have to complete the code in plotData.m
plotData(X, y);

plotData.m代码如下：执行plot函数画图；xlabel、ylabel分别给X轴和Y轴标记提示信息。

function plotData(x, y)
%PLOTDATA Plots the data points x and y into a new figure 
%   PLOTDATA(x,y) plots the data points and gives the figure axes labels of
%   population and profit.

% ====================== YOUR CODE HERE ======================
% Instructions: Plot the training data into a figure using the 
%               "figure" and "plot" commands. Set the axes labels using
%               the "xlabel" and "ylabel" commands. Assume the 
%               population and revenue data have been passed in
%               as the x and y arguments of this function.
%
% Hint: You can use the 'rx' option with plot to have the markers
%       appear as red crosses. Furthermore, you can make the
%       markers larger by using plot(..., 'rx', 'MarkerSize', 10);

figure; % open a new figure window

plot(x,y,'rx','MarkerSize',10);
ylabel('Profit in $10,000s');
xlabel('Population of City in 10,000s');

% ============================================================

end

画出来的图形如下：

①假设函数(hypothesis function)

在给定一些样本数据(training set)后，采用某种学习算法(learning algorithm)对样本数据进行训练，得到了一个模型或者说是假设函数。

当需要预测新数据的结果时，将新数据作为假设函数的输入，假设函数计算后得到结果，这个结果就作为预测值。

假设函数的表示形式一般如下：θ 称为模型的参数(或者是：权重weights)，x就是输入变量(input variables or feature variables)

可以看出，假设函数h(x)是关于x的函数，只要确定了 θ ，就求得了假设函数 (θ 也可视为一个向量)。那么对于新的输入样本x，就可以预测该样本的结果y了。

上面假设函数是从0到n求和，也就是说：对于每个输入样本x，将它看成一个向量，每个x中有n+1个 features。比如预测房价，那输入的样本 x(房子的大小，房子所在的城市，卫生间个数，阳台个数.....一系列的特征)

关于分类问题和回归问题：假设函数的输出结果y（predicted y）有两种表示形式：离散的值和连续的值。比如本文中讲到的预测利润，这个结果就是属于连续的值；再比如说根据历史的天气情况预测明天的天气（下雨 or 不下雨），那预测的结果就是离散的值(discrete values)

因此，若hypothesis function输出是连续的值，则称这类学习问题为回归问题(regression problem)，若输出是离散的值，则称为分类问题(classification problem)

②代价函数(cost function)

学习过程就是确定假设函数的过程，或者说是：求出 θ 的过程。

现在先假设 θ 已经求出来了，就需要判断求得的这个假设函数到底好不好？它与实际值的偏差是多少？因此，就用代价函数来评估。

一般地，用 m 来表示训练样本的数目(size of training set)，x⁽ⁱ⁾ 表示第 i 个样本，y⁽ⁱ⁾ 表示第i个样本的预测结果。

从上图可看出：代价函数与“最小均方差”的理念非常相似。J(θ)是 θ 函数。

显然，“代价函数越小，模型就越好”。因此，目标就是：找到一组合适的 θ ，使得代价函数取最小值。

如果我们找到了 θ ，那不就求得了 假设函数了？也就求得一个模型--linear regression model.

那如何找 θ 呢？就是下面提到的梯度下降算法(Gradient descent algorithm)

③梯度下降算法(Gradient descent algorithm)

梯度下降算法的本质就是求偏导数，令偏导数等于0，解出 θ

首先从一个初始 θ 开始，然后 for 循环执行上面公式，当偏导数等于0时，θ_j 就不会再更新了，此时就得到一个最终θ_j 值。

整个偏导数的运算过程如下：

④假设函数、代价函数和梯度下降算法的向量表示

假设函数的向量表示如下：

代价函数的表示如下：

使用梯度下降算法求解 θ 的向量表示如下：

证明过程如下：

⑤Matlab语言表示 代价函数和梯度下降算法

梯度下降算法表示如下：(gradientDescent.m)

function [theta, J_history] = gradientDescent(X, y, theta, alpha, num_iters)
%GRADIENTDESCENT Performs gradient descent to learn theta
%   theta = GRADIENTDESENT(X, y, theta, alpha, num_iters) updates theta by 
%   taking num_iters gradient steps with learning rate alpha

% Initialize some useful values
m = length(y); % number of training examples
J_history = zeros(num_iters, 1);

for iter = 1:num_iters
    theta = theta - (alpha/m)*X'*(X*theta-y); % theta 就是用上面的向量表示法的 matlab 语言实现
    % ====================== YOUR CODE HERE ======================
    % Instructions: Perform a single gradient step on the parameter vector
    %               theta. 
    %
    % Hint: While debugging, it can be useful to print out the values
    %       of the cost function (computeCost) and gradient here.
    %
    % ============================================================

    % Save the cost J in every iteration    
    J_history(iter) = computeCost(X, y, theta);

end

end

代价函数表示如下：(computeCost.m)

function J = computeCost(X, y, theta)
%COMPUTECOST Compute cost for linear regression
%   J = COMPUTECOST(X, y, theta) computes the cost of using theta as the
%   parameter for linear regression to fit the data points in X and y

% Initialize some useful values
m = length(y); % number of training examples

% You need to return the following variables correctly 
J = 0;

% ====================== YOUR CODE HERE ======================
% Instructions: Compute the cost of a particular choice of theta
%               You should set J to the cost.
J = sum((X*theta-y).^2)/(2*m);
% =========================================================================

end

运行上面的Matlab程序，求得的线性回归模型如下图：

它的一个预测结果如下：

For population = 35,000, we predict a profit of 4519.767868
For population = 70,000, we predict a profit of 45342.450129

代价函数J(θ₀ , θ₁)的图形如下：（因为我们只有一个特征变量(population)--不考虑x₀)。因此，共有两个模型参数，θ₀对应着x₀， θ₁对应着x₁

两个变量：θ₀ , θ₁，因此画出来的图形可用三维空间来表示。

原文：http://www.cnblogs.com/hapjin/p/6079012.html