这节课是最后一节,讲的是做机器学习的三个原则。
第一个是Occan's razor,即越简单越好。接着解释了什么是简单的hypothesis,什么是简单的model。关于为什么越简单越好,林老师从大致思想
上进行了解释:如果一个简单的模型能对数据分得很好,那说明输入的资料是有规律的资料(这被称为资料具有显著性significant);对于复杂的模型来说,不是资料怎么样,都可以分的较好,这样
的资料不具备显著性。那做机器学习的方向就是,先做简单的线性模型,不行再做其他的。
第二个是sampling bias。如果你的资料来自不同的分布,那么就可能产生问题。林老师举了他曾经的经历来说明这个问题。这并不是要求训练和测试的分布要完全一样,而是训练的数据环境要接
近于测试的环境。越接近,测试效果就会越好。
第三个是data snooping,偷看了数据(不是很好理解),相当于作弊。如果对于同一个数据集,不断在某个模型上进行改进,则也相当于偷看了数据。
改进方法之一是validation;不要由资料来设计模型;
最后power of three总结了机器学习基石课程的内容(有些已经忘记了,惭愧啊)。
后记:这个课程张于听完了,感觉收获还是很大的,有点知其然并知其所以然的意思了。这门课的理论水平很高,不适合入门,但却是机器学习的基石,以后肯定要经常拿出来复习。
准备暑假的时候学林老师的机器学习技法这门课,希望能有更大的收获。