zoukankan      html  css  js  c++  java
  • 机器学习tips

    1 为什么随机梯度下降法能work?

    https://www.zhihu.com/question/27012077中回答者李文哲的解释
     
    2 随机梯度下降法的好处?
    (1)加快训练速度(2)噪音可以使得跳出局部最优
     
    3 权衡方差和偏差
    偏差反映的是模型的准确度(对训练数据的吻合程度),方差则反映模型的稳定性(对测试数据的泛化能力)。模型越复杂,偏差越小,方差越大。
     
     4 减少过拟合的方法
    (1)减少特征个数
    (2)增大数据量
    (3)引入正则项
     
     
     5 L1和L2正则
    (1)

    L0范数:||x||0为x向量各个非零元素的个数

    L1范数:  ||x||1 为x向量各个元素绝对值之和。
    L2范数:  ||x||2为x向量各个元素平方和的1/2次方,L2范数又称Euclidean范数或者Frobenius范数

    (2)

     L0正则的特点是:防止过拟合,并给出稀疏结果用于特征选择,但由于加L0后问题很难求解,所以一般用L1来做稀疏。

     L1正则的特点是:防止过拟合,给出稀疏结果,常用于特征选择。

     L2正则的特点是防止过拟合。

    (3)

    L0能得到稀释结果比较好理解,那么为什么L1也能得到稀疏结果呢?

    首先,加了正则之后的优化问题可以如下等价:

    然后来看看W是二维的情况下:

     可以发现,L2所规定的约束范围与等高线的交点通常不在坐标轴上,而L1由于范围是一个棱形,等高线与其交点刚好落在坐标轴上,对应于w1为0。当W是一个更高维的情况也是类似,这就解释了为什么L1能给出一个稀疏的结果,而L2不能。

     
    *(4)L2正则的梯度很好求解,但是L1则不能简单求导解决,往往是用下面三种方法来解决:
     
    (5)L1正则有什么问题?

    如果有几个变量相关性比较大,它会随机选出其 中之一, 而不考虑其他的变量。 

  • 相关阅读:
    使用JavaScript获取select元素选中的value和text
    EF应用一:Code First模式
    EF常用查询语句
    在EF中执行SQL语句
    c++学习笔记之继承篇
    pyqt系列原创入门教程
    python sorted排序用法详解
    常见排序算法-Python实现
    作品集
    deepin系统如何安装deb格式的软件
  • 原文地址:https://www.cnblogs.com/coldyan/p/6196051.html
Copyright © 2011-2022 走看看