机器学习西瓜书笔记---3.4、线性判别分析
一、总结
一句话总结:
【线性判别分析(Linear Discriminant Analysis,简称LDA)】是一种经典的【线性学习方法】,在【二分类问题】上因为最早由 Fisher,1936]提出,亦称“Fisher判别分析”
1、线性判别分析LDA的思想?
LDA的思想非常朴素:给定训练样例集,设法将样例【【投影】到一条【直线】上,使得【同类样例】的【影点尽可能接近】、【异类样例的投影点尽可能远离】】;在对新样本进行分类时,将其投影到同样的这条直线上,再根据投影点的位置来确定新样本的类别.图33给出了一个二维示意图
图33LDA的二维示意图. “+”、“-”分别代表【正例和反例】,椭圆表示数据簇的外轮廓,虚线表示投影,红色实心圆和实心三角形分别表示两类样本投影后的中心点
其实就是【正样本和负样本之间各自靠近,正负样本远离】,非常符合直观
2、线性判别分析LDA的用途?
若将W视为一个投影矩阵,则多分类LDA将样本投影到N-1维空间N-1通常【远小于数据原有的属性数】.
于是,可通过这个投影来【减小样本点的维数】,且投影过程中使用了类别信息,因此LDA也常被视为一种【经典的监督降维技术】
二、内容在总结中
博客对应课程的视频位置: