高斯判别分析（附Matlab实现）
生成学习算法
高斯判别分析（Gaussian Discriminant analysis，GDA），与之前的线性回归和Logistic回归从方法上讲有很大的不同，GDA是一种生成学习算法（Generative Learning Algorithms），而之前的属于判别学习算法（Discriminative Learning Algorithms）。
它们的主要区别是：
判别学习算法是直接训练出p（y|x）；
生成学习算法是分别训练出各个类别的概率模型，之后再用Bayes公式算法出p（y|x）；
通俗的说，判别模型是通过训练样本训练出一个模型，再用测试点x带入这个模型，最后算出x的可能类别；而生成学习模型是通过训练样本训练出各个类别的多个模型，再将预测点x分别代入不同类别的模型中，进而判断x到底属于哪个类别（一般就看代入后那个模型的概率大就认为x是哪一类，当然也有例外）。
高斯判别分析
GDA就是一种生成学习算法，通过生成不同类别的模型，再进一步估计出预测样本的具体类别，为了简化问题，这里只讲二分类情况下的问题。
前提：
条件概率p（x|y）服从多维正态分布，且输入特征x是连续且随机的。
其分布函数为：
其中p(y)为类别i的先验概率，φ为y=1的先验概率值，μ0和μ1分别为y=0和y=1的期望，Σ为样本的协方差，由此可以看出y是服从Bernoulli（φ）的分布，x|y=0和x|y=1分别服从N（μ0，Σ）和N（μ1，Σ）。
Ps:这里y=0和y=1时用的是同一个协方差，至于为什么？我感觉很难说清
其似然函数如下
为了使似然函数达到最大，可得和参数的估计值为
有了这些估计值我们就能生成属于各个类别的模型了。
In Matlab
这代码其实很简单，分别算出各参数的值，再带入matlab预有的生成函数就行
代码如下：
clear all; close all; clc
% data
x = [0.230000 0.394000;
0.238000 0.524000;
0.422000 0.494000;
0.364000 0.556000;
0.320000 0.448000;
0.532000 0.606000;
0.358000 0.660000;
0.144000 0.442000;
0.124000 0.674000;
0.520000 0.692000;
0.410000 0.086000;
0.344000 0.154000;
0.490000 0.228000;
0.622000 0.366000;
0.390000 0.270000;
0.514000 0.142000;
0.616000 0.180000;
0.576000 0.082000;
0.628000 0.286000;
0.780000 0.282000];
x1 = x(:,1);
x2 = x(:,2);
y = [0;
0;
0;
0;
0;
0;
0;
0;
0;
0;
1;
1;
1;
1;
1;
1;
1;
1;
1;
1];
[m, n] = size(x);
% plot the datas
figure
pos = find(y); neg = find(y == 0); %find是找到的一个向量，其结果是find函数括号值为真时的值的编号
plot(x(pos, 1), x(pos, 2), '+')
hold on
plot(x(neg, 1), x(neg, 2), 'o')
hold on
xlabel('axis X')
ylabel('axis Y')
m_ones = ones(m,1); % 20 * 1的矩阵，元素全为1
sum0 = (1-y)' * m_ones; % 标记为0的样本个数
sum1 = y' * m_ones; % 标记为1的样本个数
mu0 = [(1-y)'*x1/sum0 (1-y)'*x2/sum0]; % 标记为0的期望
mu1 = [y'*x1/sum1 y'*x2/sum1]; % 标记为1的期望
sigma = cov(x1,x2); % 协方差
[x y]=meshgrid(linspace(0,1,50)',linspace(0,1,50)');
X=[x(:) y(:)];
z1=mvnpdf(X,mu0,sigma);
contour(x,y,reshape(z1,50,50),4);
hold on;
[x y]=meshgrid(linspace(0,1,50)',linspace(0,1,50)');
X=[x(:) y(:)];
z2=mvnpdf(X,mu1,sigma);
contour(x,y,reshape(z2,50,50),4);
hold off
效果图如下：
标准的结果应该是这样的：
感觉好像一样，又感觉好像不一样，也不知道我这到底错没错，也许是训练集没有服从高斯分布吧，等有空再找个服从高斯分布的样本集试试。
拓展
当将p（y=1|x；φ，μ0，μ1，Σ）看成是一个x的函数时，可以发现p（y=1|x）将会近似成一个Logistic函数。如下图（画的难看，见谅）
分布函数可以写成
其中θ是φ，μ0，μ1，Σ的函数。其实这个函数也就是这个问题的判别学习算法形式了。
那问题自然就来了，到底选哪一个会更好呢？
当然通常的回答肯定不会出现绝对哪一个会更好，要不差的那个根本就没有存在的价值了嘛，依然是具体问题具体分析，我相信机器学习中的很多问题都是这样的，看你对数据的理解程度了。
这里有几个tips可以帮助我们做判断，至于要讲出个之所以然来，我想，任重而道远啊。
1、当x|y服从多维高斯分布时，则其后验概率y|x服从Logistic回归；但反过来并不成立。
2、当已知x|y服从高斯分布，则GDA是一个好的选择，若不服从高斯分布，却使用了GDA，其表达效果往往没有Logistic回归好。----GDA是一个更强条件的分类算法
3、若x|y=0和x|y=1都服从Poisson分布（指数分布族），则y|x也遵守Logistic回归