zoukankan      html  css  js  c++  java
  • 机器学习2-7

    2014年斯坦福机器学习课程2-7

    课程中主要介绍梯度下降算法找代价函数的最小值。我们知道梯度下降可以找到局部最优,

    但不一定是全局最优。但如果convex function(凸函数),可以通过梯度下降找到全局最优解。

    此时局部最优对应全局最优。于是恩达老师举了个凸函数的例子,弓形的曲面。但并没有具体

    介绍凸函数的定义,只是说该曲面为凸函数,这就与大学时期学的高等数学中的凸函数定义有

    些矛盾,如果没有记错定义的话完全相反。

    如何判断是否是凸函数?

    法一、求导

      对于一元函数,通过二阶导数大于等于零来判断是凸函数。

      对于多元函数,通过它的黑塞矩阵的正定性来判断,如果正定,则为凸函数

      关于黑塞矩阵定义

    法二、分析函数结构

    1. 指数函数是凸函数;
    2. 对数函数是凹函数,然后负对数函数就是凸函数;
    3. 对于一个凸函数进行仿射变换,可以理解为线性变换,结果还是凸函数;
    4. 二次函数是凸函数(二次项系数为正);
    5. 高斯分布函数是凹函数;
    6. 多个凸函数的线性加权,如果权值是大于等于零的,那么整个加权结果函数是凸函数。

    法三、琴声不等式

  • 相关阅读:
    Mybatis简单的入门之增删改查
    循环的角度求均值
    谈谈软件设计
    秒杀多线程第四篇 一个经典的多线程同步问题
    (转)dp动态规划分类详解
    P1006 传纸条
    P1005 矩阵取数游戏
    1D1D动态规划优化
    NOI 2009A 诗人小G
    P1078 文化之旅
  • 原文地址:https://www.cnblogs.com/fresh-coder/p/14262825.html
Copyright © 2011-2022 走看看