1、贝叶斯决策理论
研究了模式类的概率结构完全知道的理想情况。
这种情况很少在实际中出现，但是它为我们提供了一个能与其他分类器作对比的评价依据。
2、最大似然和贝叶斯参数估计
研究了当模式类的概率结构未知，但一般的分布形式已知的情况下的问题。
此时的概率分布中存在的不确定性是由若干参数值未知所引起的。我们要做的是尝试估计出正确的参数值。
3、非参数技术
更加远离贝叶斯理想情况。甚至连参数化的先验分布形式的任何知识都没有。
分类型必须基本上只利用输入训练样本自身提供的信息来工作。
4、无监督学习和聚类
在输入训练样本的类别标签未知的情况下，识别器如何发现聚类结构。
其他概念：
①线性判别函数
研究参数估计的一般方法。
②随机方法
模拟退火算法和玻尔兹曼学习算法。（能够克服神经网络计算所遇到的困难部分）
③非度量方法
不再给予统计模型。研究可以用逻辑规则表达的一类问题。
如，树分类算法、串的识别、基于文法规则的句法（结构）识别等