基本概念
神经网络：NN Neural Network
卷积神经网络：CNN Convolutional Neural Network
循环神经网络：RNN Recurrent Neural Networks
深度神经网络：DNN Deep Neural Networks
自然语言处理；NLP Natural Language Processing
神经语言程序学：NLP Neuro-Linguistic Programming)
多层神经网络：MLP Multi-Layer Perceptron (一个层叫线性回归，多个是MLP)
梯度下降法的三种形式：http://www.cnblogs.com/maybe2030/p/5089753.html
批量梯度下降法：BGD Batch Gradient Descent
随机梯度下降法：SGD Stochastic Gradient Descent
小批量梯度下降法：MBGD Mini-batch Gradient Descent
此外还有： Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam
http://blog.csdn.net/u014595019/article/details/52989301
BP算法：是由学习过程由信号的正向传播与误差的反向传播两个过程组成。由于多层前馈网络的训练经常采用误差反向传播算法，人们也常把将多层前馈网络直接称为BP网络。Error Back Propagation，误差反向传播。
数据集 Data Set
样本 Sample
属性 Attribute 特征 Feature
特征值 Feature Value
特征和样本所张成的空间：
特征空间 Feature Space 样本空间 Sample Space 标签空间 Label Space
模型是分类器时，类别空间
数据集：训练集Training Set 测试集 Test Set 交叉验证集 Cross-Validation Set （CV Set）
假设空间：模型在数学上的适用场景
泛化能力：模型在未知数据上的表现
数据集网站：http://archive.ics.uci.edu/ml/datasets.html
结构风险最小化：SRM Structural Risk Minization
传统为：经验风险最小化 ERM Empirical Risk Minization
三种交叉验证： S-fold Cross validation （S折交叉验证） 留一交叉验证 （Leave-one-out Cross Validation） 简单交叉验证
极大似然估计：ML估计 Maximum Likelihood Estimate
极大后验概率估计：MAP
贝叶斯决策论：Bayesian Decision Theory
朴素贝叶斯：Naive Bayes
离散型朴素贝叶斯：MultinomialNB
连续性朴素贝叶斯：GaussianNB
混合型朴素贝叶斯：MergedNB