201116西瓜书机器学习系列---12、计算学习理论
一、总结
一句话总结：
计算学习理论：研究【泛化误差】和【经验误差】之间的【逼近程度】
1、PAC可学习？
PAC可学习：以较大概率【预测】到【满足预测误差上限】的模型
2、量化假设空间的复杂度的方法？
【VC维和Rademacher复杂度】
3、计算学习理论：研究【经验误差】和【泛化误差】之间的逼近程度？
【已知数据集上的误差】称为经验误差，【全局数据集上的误差】称为泛化误差
【泛化误差】是我们【追求的目标】，【经验误差】是我们【已有数据集上的表现】；两者之间的逼近程度反应了【模型的准确度】或者说【模型的可用程度】
4、PAC可学习（以较大概率【预测】到【满足预测误差上限】的模型） 三个重要概念？
概念类：【目标概念】构成的【集合】；描述【数据】是【怎样生成】的
学习算法：例如【线性回归、逻辑回归、SVM等】
假设空间：学习算法的【所有可能的概念】的【集合】，例如线性回归里面y=5x+2和y=3x+5都属于假设空间里面的概念
5、PAC可学习：有限假设空间：①可分②不可分；在一定的条件下都是可学习的？
可分：目标概念【在假设空间中】；【不可分】：目标概念【不在】假设空间中
只有【理想情况】下是【可分】的，大部分【实际应用】都是【不可分】的
例如：预测某文章的点击率，实际点击的情况【受影响因素太多了】比如内容质量、推荐精准度，网速流畅程度、天气、用户心情等而假设空间中不可能把所有情况都假设进来
进一步验证【可分或者不可分在一定条件下都是可学习的】，否则算法工程师就失业了
6、VC维是什么？
用来【度量假设空间H（模型）的复杂度】：$$VC ( H ) = max { m : Pi _ { H } ( m ) = 2 ^ { m } }$$
VC维规律：【参数越多，VC维越大，模型容量大，表达能力强】，VC维度用来表达【模型的容量】
7、常见模型的模型容量？
一般按照线性模型、逻辑回归、决策树、SVM、深度学习，【模型容量逐步增加】
二、内容在总结中
博客对应课程的视频位置：