大体来说, 可以分为三类.
有监督学习
有输入(x), 有标签(y). 学习一个函数(y=f(x))将(x)映射到(y).
理论上来说, (y)可以是任意的.
- 当(y)是不连续的: 称为分类(Classification), 或模式识别(Pattern Recognition)
- 当(y)是连续的: 称为回归(Regression)
无监督学习
只有输入数据, 没有label. 它的目标是在这些数据中发现一些有意义的知识, 所以, 无监督学习又叫知识发现(Knowledge Discovery). 根据发现的知识类型, 进一步又分为以下几个类别:
- Discover Clusters. 聚类. E.g., K-means, Spectral Clustering, GMM.
- Discover Latent Factors. 发现一些潜在的因子, 用它们可以以更低的维度更有效表达数据. 又称降维(Dimension Reduction). E.g., PCA.
- Discover Graph Structures. 通过数据点与点之间的联系, 将整个数据集构成一个稀疏的graph. (TODO, for what? NNS?). E.g. graphic lasso
- Matrix Completion. 补全缺失的数据. E.g. Collaborative filtering.
- ...
强化学习
(TODO)
#Reference * Machine Learning, a Probalistic Perspective. Chapter 1.