zoukankan      html  css  js  c++  java
  • 极大似然、最小二乘和梯度下降

    今天学习回归算法的过程中,对于常见到的名词:极大似然、最小二乘以及梯度下降做一个总结

    机器学习的基本框架大都是模型、目标和算法!

    如何让模型尽可能好的拟合或者分类数据呢?那么就需要有目标函数,所以要定下模型的cost function,其中的获取损失函数的方法。

    对于线性回归,可以采用他的似然函数、或根据最小二乘,写出他的损失函数。

    对于逻辑回归,采用似然函数求他的损失函数。

     而采用何种优化算法,则可以使用最小二乘法、梯度下降法等。

    问题1:最小二乘和最小均方误差的区别?

    最小二乘:预测值和真实值差的平方和

    均方误差:预测值和真实值差的期望,是一种加权最小二乘,权值为概率!

    加权最小二乘:根据实际问题考虑每个求和项的重要程度,即加权值w,

    均方误差估计是针对概率模型,二乘估计是针对确定性模型

     问题2:为什么逻辑回归不用最小二乘?

    主要是逻辑回归采用最小二乘获得损失函数的话,比较复杂,容易陷入局部最优

  • 相关阅读:
    利用Redis和Flask维护一个通用爬虫代理池
    在scrapy_splash中加载本地Cookies
    Splash对接Scrapy
    Selenium和pymongo的简单复习
    Scrapy框架
    web.xml is missing and <failOnMissingWebXml> is set to true
    深入Mybatis配置文件
    SSH和SSM的比较
    classpath路径指什么
    数据库范式
  • 原文地址:https://www.cnblogs.com/pinking/p/8722342.html
Copyright © 2011-2022 走看看