对ANU统计机器学习的Lab总结

对 ANU COMP4670/8600 - Statistical Machine Learning 的 Lab 知识点总结

Week 1. Basic knowledge：
知道怎么求连续和离散变量的均值 方差 （连续用积分，离散累加）
在已知离散前提下，sum rules计算边缘概率，product rule计算条件概率, 判断变量之间独立性（P(X,Y)是否等于P(X)P(Y)）
计算复合函数的梯度(1维，2维)

Week 2.
协方差矩阵 C = 1/n X X.T, 协方差矩阵也是半正定矩阵,半正定矩阵 A（沿对角线对称，Aji = Aij，A = A.T， 对于所有向量x，x.T A X>=0, A特征值都为正）

Week 3.
代码

Week 4.
Features Map (φ): Input to features
逻辑回归，计算似然函数（形式和BCE loss相似）, 误差函数及其梯度
L2正则
混淆矩阵 （Acc 和 Balance Acc）

Week 5.
为什么权重和偏差不能为0？
为什么徐需要non linear activation function?
神经网络在代码里长啥样 怎么写forward和backward

Week 6.
PCA的mean和cov matrix怎么表达，PCA步骤
如何利用SVD来实现PCA
利用Autoencoder实现PCA, Xavier Initialisation长啥样, Mini Batch Training好处是啥

Week 7 .
高斯混合模型怎么表示 (P（X）)
隐含变量 Latent Variables (P(x|Zk = 1))
Responsibilities (rnk = P(Zk = 1|Xn))
Log likelihood (log p (x|π,μ，θ)), 最大化似然得 πk， μk， θK表达式
EM算法，因为rnk和 π μ θ互相依赖 （1.初始化π μ θ 2.算rnk 3.算新的 π，μ，θ 4 .算log likelihood，如果没收敛则重复步骤2）

Week 8.
了解quadratic basis function，由φX计算φxi
计算Kernal Function Knm = φxn.T φym

Week 9.(用拉格朗日乘数去求PCA和SVM)

1. 求PCA 拉格朗日公式 L（x,λ） = F(X) - λh(x) 。u为1维子平面的单位向量, u.T为projected obversavtions, 方差为u.T S u, S为原X的协方差矩阵
2. 最大化方差 L（x,λ） = u.T S u - λ（u.T u -1）, 令其梯度为0，得其stationary points为S上的单位特征向量和特征值
3. 故方差为λ u.T u, 方差为λ（拉格朗日参数、特征值）
4. 支持向量机 最小化 12 <w,w>, 并且 ti<w,xi> - 1>=0, 求梯度换形式，不断转换... 得最小化−1/2 λ.T Q λ+ 1.T λ,且 0≤ λ i≤C,i=1…N . 目标函数梯度：−λ.T Q + 1

Week 10.
sampling
Week 11.
计算条件概率
计算需要多少memory （依赖的乘法，最后-1；不依赖的话加法 最后减去种类数）
D分割 判断条件独立性
给了BN的分布 求各种概率(1. By computing p(A,B,C,D,E) and marginalising and conditioning appropriately 2. By only computing the required distributions directly using the graphical model structure)
贝叶斯网络转换成马尔可夫网络，马尔可夫网络的条件独立性判断
用Sum Product Algorithm 计算边缘分布 (蛮麻烦的)