zoukankan      html  css  js  c++  java
  • 线性回归小结

    逐步前向线性回归

    1.初始化系数为0,即zeros((特征数, 1))

    2.每执行一次迭代,都要遍历每一个特征,针对每一个特征的系数,有两种取值情况,分别是[-1,1]两个方向的sign*step。

    这样就确定了两个权重向量,然后将所有的训练样本*权重向量,获得训练样本的预测值;

    3.将所有这些预测值与真实值,相减并平方后求和,就得到了所有训练样本针对该权重向量的一个误差值。

    4.只保留最小误差所对应的权重向量就可以。

    5.完成指定迭代之后,就可以得到具有最小误差所对应的权重系数。

    小结:

    每个特征依次乘以一个很小的迭代系数,然后从中选择出一个可以获得最小训练误差的方案,作为本次迭代的一个最优系数。

    多次迭代之后,将会最终收敛到一个稳定的系数值。

    岭回归

    需要使用标准化的数据,获得权重之后,测试数据也要使用岭回归原始数据的均值和方差来标准化测试数据。

    数据标准化(或者说归一化)的介绍:https://www.cnblogs.com/bjwu/p/8977141.html

  • 相关阅读:
    MySQL循环插入语法
    查看linux机子的配置
    extends与implements的不区别
    Git基本命令
    VirtualBox配置 以及文件传输
    zookeeper应用场景
    oracle学习
    linux学习
    Mysql优化
    线程3
  • 原文地址:https://www.cnblogs.com/gwzz/p/13559628.html
Copyright © 2011-2022 走看看