辨异 —— 机器学习概念辨异、模型理解

• 区别检测（detection）与识别（recognition），
  
  • 目标检测，目标识别；
  • 人脸检测（一张图像中是否有人脸），人脸识别（确定这个人脸是谁）
• DP：不是指动态规划（dynamic programming），而是狄利克雷过程（Dirichlet Process）
• TF，可以是 TensorFlow，也可以是 Term Frequency，注意 context
• PMF： Probabilistic Matrix Factorization，概率矩阵分解，（PMF：Probability Mass Function），概率质量函数；
• 参数模型（Parametrical models），非参数模型（non-parametric models），
  
  • 参数模型中的参数一般是关于对数据本身分布的假设；
  • 随机森林（包括提升方法）、神经网络等方法中的参数，则是关于算法本身；
  • Are Random Forest and Boosting parametric or non-parametric?

0. 机器学习与统计、与数据挖掘

机器学习与统计因为其概念的提出来源不同，一个来源于人工智能，一个则是数学；

• 机器学习中的 Networks，Graphs 等，在统计的范畴里称为 Models
  
  • Networks，Graphs：weights
    
    • Learning
    • Generation
    • supervised learning
    • unsupervised learning
  • Models：parameters
    
    • 对模型，fitting
    • 对参数，估计（estimation）；
    • Test set（Generation）
    • Regression/Classification（supervised learning）
    • density estimation，clustering（unsupervised learning）

机器学习更偏重，自动化（数学）；数据挖掘则偏重，半自动；

1. Multi-class、Multi-label

• Multi-class Classification：多分类问题，即在多于两个类别中选择一个；
• Multi-label Classification：判断一个样本是否同时属于多个不同类别；

2. 分类函数（classification function）与模型（model）

• 分类函数：fθ(x),f(x)
• 模型：P(Y|x,θ)

二者什么关系呢？

fθ(x):=argmaxkP(Y=k|x,θ)

3. empirical loss：经验损失

• 损失函数一定是需要对其执行最小化操作的。

存在以下版本的经验损失函数的定义形式：

• 0-1 损失，

  ℓ0,1(θ,D)=∑i=0|D|Ifθ(x(i))≠y(i)

  接下来就要看 fθ(x) 的具体定义形式了，比如，fθ(x)=argmaxkP(Y=k|x,θ)

• NLL（Negative Log-Likelihood Loss），其实有 MLE（Maximum Likelihood）最大（对数，乘法转化为加法）似然取负号转化而来，（最大似然 ⇒ 最小对数损失）

  L(θ,D)=∑i=0|D|logP(Y=y(i)|x(i),θ)

  所以其 NLL 形式为：

  NLL(θ,D)=−∑i=0|D|logP(Y=y(i)|x(i),θ)

  此为真正的损失函数（当然这里也可以再次执行以下均值化的操作）；

4. 手动求导还是自动求导？

在实现 minibatch SGD（stochastic gradient descent）的过程中，对于大多数的编程语言，C/C++Python/Matlab，来说，都需要手动求解损失函数关于参数的导数（对 logistic regression 来讲，就是 ∂ℓ/∂W，∂ℓ/∂b，这对某些复杂模型常常变得十分棘手，尤在考虑到数值稳定性时。

对于 Theano 这种符号式编程语言来说，就变得十分容易：

g_W = T.gradient(cost=cost, wrt=clf.W)
g_b = T.gradient(cost=cost, wrt=clf.b)

• 手动求导：C/C++/Python/Matlab
• 自动求导：theano

5. MLP vs LR（logistic regression）

• 一个 MLP（multi-layer perceptron）可被看做一个 LR 分类器，首先使用一个非线性函数（non-linear，因为激励函数不是线性的） Φ 将输入样本（input）映射到一个可以使其线性可分的空间中。

• 这样的一个中间层视为隐层（hidden layer）。

• 一个单隐层的 MLP 就足以成为一个通用的逼急器（universal approximator）。

• MLP 也被成为 ANN（Artificial Neural Network）。

• 正式地，单隐层的 MLP 可看做一个函数，f:RD→RL，D 是输入样本的维数，L 则是输出向量的维数，以矩阵的记法：

  f(x)=G(b(2)+W(2)s(W(1)x+b(1)))

  符号介绍：

  • b(1),b(2)：bias vectors
  • W(1),W(2)：weight matrices
  • G,s：activation function

  定义：h(x)=Φ(x)=s(b(1)+W(1)x)，其构成了中间的隐层（的输入）

  一般将 s=tanh

  输出向量（output vector） o(x)=G(b(2)+W(2)h(x))，我们可将 G 设置为 softmax 的形式；

  对于 MLP 模型，参数集为 θ={W(2),b(2),W(1),b(1)}

6. 无监督学习 vs 监督学习

想要结合实际，让工具变得更加智能化，深度学习必将的走向：

• 大数据和无监督算法；
• 围绕着庞大的未标记数据；

7. parameter vs hyper-parameter

• hyper-paramter 的学习（获得）对应着 model selection（model comparison）的过程。

  • 不同的超参对应着不同的模型；

• parameter 的学习（获得）对应着在 hyper-parameter 确定的前提下，模型训练的过程。

  • 模型无关其内具体参数的数值；

比如多项式拟合，hyper-parameter 对应的是，多项式的最高次数，而 parameter 对应的则是最高次数确定之后，每一项的系数。