机器学习笔记（二）逻辑回归和正则化

第三章，逻辑回归(分类)and正则化

• 上半部分：逻辑回归

假设函数：　（可以通过增加多项式来拟合曲线）

---

要求：　

---

重新定义函数为：　　

---

　　

g(z)图像：

 

---

新的代价函数：

 

 

图像：

合并： 

（和线性回归类似，h(x)不同，有除以m）

---

 

1.决策边界：对应h(x)=0.5，即theta' * X=0。

2.寻找不同的代价函数使他是凸凹函数。

3.高级优化算法（使用actave代码库）：同样适用于线性回归

调用

%‘GradObj’, ‘on’：表示我们实现的函数返回cost和偏导数，否则只返回cost。
%‘MaxIter’, ‘100’：表示至多循环100次

options = optimset(‘GradObj’, ‘on’, ‘MaxIter’, ‘100’);

initialTheta = zeros(2,1);  
[optTheta, functionVal, exitFlag]= fminunc(@costFunction, initialTheta, options);%initialTheta必须是>=2

实现函数

 4.多分类（分成>2类）：一对多

 

对于一个新的输入，分别带入每个函数，其中值最大的h(x)表示属于这个分类。

• 下半部分：解决过拟合

1.

欠拟合：多项式的项太少，并且高项少，拟合不了。

拟合：训练集中的数据有的没有拟合，但大部分已经拟合，且感觉应该是对的。

过拟合：多项式的项太多，过度拟合，训练集中的数据都完全拟合，拐了好多万，但加入新的数据就会不在拟合。

一般在当有很多特征变量，并且看起来都很有用，而数据集相对少时，容易出现过拟合。

 2.过拟合解决办法：

减少特征变量的数量：人工检查重要性，模型选择算法（后面会讲）

正则化：每个特征变量都有用

3.正则化：λ是正则化参数，用来在两个不同的目标中控制一个平衡关系，第一个使更好的拟合训练集（原来的部分），第二是要参数尽量小，从而形式尽量简单，避免过拟合（新加的部分）。λ如果太大，则所有theta[i]=0（i>0）,会欠拟合。

4.正则化的梯度下降算法：

移项：

一般让<1（0.99）

 5.正则化的正规方程解法（下图中的矩阵是(n+1)*(n+1)的，n是特征变量的个数）：另偏导数等于0，可解的

注意：可以证明现在括号内的矩阵一定是可逆的！（正则化解决了这个问题）

代码：

1.g(z)函数

function g = sigmoid(z)

        g = zeros(size(z));
        g=1 ./ (1+ e .^ (-z));
end

 2.cost函数，用来给系统函数fminunc使用

function [J, grad] = costFunction(theta, X, y)

        m = length(y); % number of training examples
        J = 0;
        grad = zeros(size(theta));

        h=sigmoid(X *theta); %改变了！！！
        J= -( y' * log(h) + (1-y)' * log(1-h) )/m;　　%代价
　　　　 grad= (X' *(h-y))/m;　　%偏导数　
end    

 3.上半部分整体代码

data = load('ex2data1.txt');
X = data(:, [1, 2]); y = data(:, 3);
[m, n] = size(X);

X = [ones(m, 1) X];
initial_theta = zeros(n + 1, 1);
[cost, grad] = costFunction(initial_theta, X, y);


options = optimset('GradObj', 'on', 'MaxIter', 400);
[theta, cost] = ...
    fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);
plotDecisionBoundary(theta, X, y);
p = predict(theta, X);

fprintf('Train Accuracy: %f
', mean(double(p == y)) * 100);

 4.正则化的cost函数

function [J, grad] = costFunctionReg(theta, X, y, lambda)
        m = length(y);
        J = 0;
        grad = zeros(size(theta));

    [J, grad]=costFunction(theta,X,y);    %调用非正则化的函数
    J=J+(sum(theta .^2 )-theta(1)^2)*lambda/(2.0*m);    %theta(1)不正则！

    grad=grad+theta*lambda/m;
    grad(1)=grad(1)-theta(1)*lambda/m;
end

5.生成多项式函数

function out = mapFeature(X1, X2)
%生成每一列代表：X1, X2, X1.^2, X2.^2, X1*X2, X1*X2.^2, etc..
    degree = 6;
    out = ones(size(X1(:,1)));
    for i = 1:degree
        for j = 0:i
            out(:, end+1) = (X1.^(i-j)).*(X2.^j);%表示新增一列，且赋值
        end
    end

end

6.画分割线的函数：

函数contour解释：

contour(u,v,z,n)是画等值线
其第四个参数是控制等值线的值的
如果n是一个标量，那么解释为等值线的条数例如
contour(u,v,z,20)那么它会根据数据的范围画出20条等值线
如果n是一个向量，那么解释为需要等值线的值，例如
contour(u,v,z,[1 2 3 4])会画出z=1,2,3,4四个值的等值线
如果我们要只要画指定的某个值的等值线，我们就用两个相同的数组成向量
contour(u,v,z,[1 1]);画值为1的等值线
contour(u,v,z,[0 0]);画值为0的等值线

function plotDecisionBoundary(theta, X, y)

　　plotData(X(:,2:3), y);%输出训练集
　　hold on

if size(X, 2) <= 3
    plot_x = [min(X(:,2))-2,  max(X(:,2))+2];
    plot_y = (-1./theta(3)).*(theta(2).*plot_x + theta(1));
    plot(plot_x, plot_y)
    legend('Admitted', 'Not admitted', 'Decision Boundary')
    axis([30, 100, 30, 100])
else
    % Here is the grid range
    u = linspace(-1, 1.5, 50);%分成50份
    v = linspace(-1, 1.5, 50);

    z = zeros(length(u), length(v));
    % Evaluate z = theta*x over the grid
    for i = 1:length(u)
        for j = 1:length(v)
            z(i,j) = mapFeature(u(i), v(j))*theta;
        end
    end
    z = z'; %！！！ important to transpose z before calling contour

    % Plot z = 0
    % Notice you need to specify the range [0, 0]
    contour(u, v, z, [0, 0], 'LineWidth', 2)
end
hold off

end

7.预测代码

function p = predict(theta, X)
    m = size(X, 1);
    p = zeros(m, 1);

    p=sigmoid(X * theta);
    p=(p>=0.5);
end

8.下半部分整体代码

    data = load('ex2data2.txt');
    X = data(:, [1, 2]); y = data(:, 3);

    %plotData(X, y);

    X = mapFeature(X(:,1), X(:,2));    %生成多项式

    initial_theta = zeros(size(X, 2), 1);

    lambda = 1;　　%数值选取需要注意，可以画出图来试试
    [cost, grad] = costFunctionReg(initial_theta, X, y, lambda);
    fprintf('Cost at initial theta (zeros): %f
', cost);
    initial_theta = zeros(size(X, 2), 1);
    lambda = 1;

    options = optimset('GradObj', 'on', 'MaxIter', 400);
    [theta, J, exit_flag] = ...
        fminunc(@(t)(costFunctionReg(t, X, y, lambda)), initial_theta, options);

    plotDecisionBoundary(theta, X, y);

    p = predict(theta, X);    %预测准确度
    fprintf('Train Accuracy: %f
', mean(double(p == y)) * 100);