zoukankan      html  css  js  c++  java
  • 统计学习方法进程01

      学习统计学习方法也已经有几天了,在这几天的时间里,我主要对分类学习方法进行了初步学习,包括:感知机——>支持向量机,K近邻法,朴素贝叶斯法,决策树,logistic 回归与最大熵模型。

      其中k近邻法的实现为kd树,朴素贝叶斯通过极大似然估计实现,决策树包含有生成决策树算法ID3,C4.5,决策树的剪枝算法CART.

      logistic回归,核心为参数估计,一般用极大似然估计把问题变成优化问题。最优化问题的解决通常采用梯度下降法,拟牛顿法。概率学习问题中还涉及到最大熵模型(存在一定遗忘)

      支持向量机部分是整本书的重点也是难点,从感知机演化而来的线性可分SVM(包括间隔最大化,学习的对偶算法,拉格朗日),进一步研究近似线性可分SVM(软间隔最大化,学习的对偶算法),得到包含向量内积的目标函数。根据向量内积引入核函数,进而把复杂问题转化为线性SVM来解决。SVM的求解算法的一种SMO,包括两个变量二次规划求解方法,两个变量的选择方法。(SMO还存在疑惑,需要继续研究)

  • 相关阅读:
    c# 判断网络是否连接
    有关TSQL的10个好习惯
    相同文件只能一个进程读取
    我的单元测试方案
    又用了一把VBA
    深入理解字符串和字节数组转换
    如何清除应用程序承载 WebBrowser 控件时缓存
    VB也绿色
    ASP.Net网站开发的单元测试方案
    Nunit使用心得
  • 原文地址:https://www.cnblogs.com/govin/p/3719732.html
Copyright © 2011-2022 走看看