zoukankan      html  css  js  c++  java
  • 吴恩达《机器学习》课程总结(4)多变量线性回归

    4.1多维特征

    上图中列数即为特征的个数,行数是样本数。函数假设如下:

    其中x0=1。

    4.2多变量梯度下降

    和单变量的损失函数相同:

    其中,

    求导迭代如下:

    4.3梯度下降法实践1-特征缩放

    特征之间的尺度变化相差很大(如一个是0-1000,一个是0-5),梯度算法需要非常多次的迭代才能收敛,如下图所示:

    方法:将各个特征缩放至大致相同的尺度,最简单的方法就是特征减去均值除以方差。如下所示:

    4.4梯度下降法实践2-学习率

    学习率过小收敛慢,学习率过大可能导致无法收敛。

    通常通过三倍放大来考虑学习率的设置,比如:0.01,0.03,0.1,0.3,1,3,10……。

    4.5特征和多项式回归

    比如一个二次模型:

    或者三次模型:

    可以通过创建新特征(即令):

    从而将模型转换成线性模型。

    4.6正规方程

    前提:对于某些线性回归问题,使用正规方程求解一步到位(导数为零等式求解)。如下所示

    直接令

    参数的解直接为:

    (X包含x0=1)。

    梯度下降与正规方程的比较:

    4.7正规方程及不可逆性:

    (1)特征之间互相不独立时不可逆;

    (2)样本数少于特征数时不可逆。

  • 相关阅读:
    973. K Closest Points to Origin
    919. Complete Binary Tree Inserter
    993. Cousins in Binary Tree
    20. Valid Parentheses
    141. Linked List Cycle
    912. Sort an Array
    各种排序方法总结
    509. Fibonacci Number
    374. Guess Number Higher or Lower
    238. Product of Array Except Self java solutions
  • 原文地址:https://www.cnblogs.com/ys99/p/9251200.html
Copyright © 2011-2022 走看看