斯坦福机器学习课程笔记

模型（如何模拟）---策略（风险函数）--算法（最优化方法）

第一节:

机器学习的基本概念和分类

第二节：

线性回归，最小二乘

批梯度下降(bgd)和随机梯度下降(sgd)

第三节:

过拟合，欠拟合

非参数学习算法：局部加权回归

概率角度解释线性回归。极大似然估计(mlp)

分类：逻辑回归（Bonoulli分布)

第四节:

牛顿方法(Newton Method):http://blog.csdn.net/itplus/article/details/21896453

指数分布组（Expotional Family，最小二乘和逻辑回归的推广)

广义线性模型(GLM)---->多项式分布，softmax回归:http://blog.csdn.net/acdreamers/article/details/44663305

共轭梯度法:http://blog.csdn.net/u012176591/article/details/46242621

第五节:

生成算法，和判别算法区别

高斯判别分析模型（GDA）

朴素贝叶斯

laplace平滑

第六节:

朴素贝叶斯方法（两种形式）

神经网络介绍

支持向量机(线性)

第七节：

SVM转化为凸优化问题(线性)

拉格朗日乘子法和KKT条件,求解上述优化的对偶问题

第八节:

核与核函数(核矩阵对称半正定)

L1 norm 软间隔 SVM （加入惩罚项）

Cordinant ascent(坐标上升法）解优化问题

SMO算法

第九节:

偏差/方差（Bias/variance）

经验风险最小化(ERM)

第十节:

VC维理论

交叉验证

特征选择(wrapper/filter)

第十一节:

贝叶斯统计和正则化

在线学习

机器学习中的诊断技巧

误差分析和销蚀分析

第十二节:

k-means

GMM(高斯混合模型)

EM算法

 第十三节:

EM算法应用到GMM模型

EM算法应用到混合朴素贝叶斯模型

因子分析

第十四节:

因子分析的EM算法推导

主成分分析(PCA)

第十五节:

LSI(潜在语义索引)

SVD分解

CDF（累积分布函数）、

ICA算法