机器学习与人工神经网络

一、Mechine Learning的种类：

　　1， RL (Reinforcement Learning) 强化学习，机器人打球

　　2， Unsupervised Learning  无监督学习，要学习的问题在你学习之间没有固定的答案，希望算法对特定的输入信息进行自动化的学习来达到了解这些数据内部一些固定结构的目的。特点是这些训练样本在训练之前是没有被标定的，没有准确的答案，也没有准确的办法去检测我们的学习是不是对，只能说找到一个比较好的解决方案，不能说找到一个固定标准。 K-means算法

　　3， Supervised Learning     有监督学习，学习之前，对这些收集来的数据已经有了特定的答案，希望训练出一种算法，来对将来收集到的数据进行判断或预测，有明确的输入和明确的答案。有监督学习主要是用来解决两类问题，分类问题（答案是离散的，可分为几类），回归问题（答案是在连续的空间里面）

 二、概念：

　　1、支持向量机 (SVM)

　　经验风险，结构风险，容错性，拉格朗日乘数法， 

　　开源实现 libsvm

　　SVM是用来做预测的，它的主要特点是结构化风险最小

　　2、 ANN（Artificial Neural Network）
　　 Single-layer perceptron，Multi-layer perceptron

　　 BP neural network，（反向传播神经网络）它的特点是经验风险最小

　　 LMS （Least Mean Square）算法

　　 NLP (自然语言识别)

　　 OCR (optical character recognition) 光学字符辨识，文本检测

　　 LR (Logistic regression)

　　 SVM (Support Vector Machines)

　　 ANN (artificial neural network)人工神经网络：

      DNN (deep neural network), 

　　CNN(Convolutional deep neural networks ),  

　　RNN (Recurrent neural networks)

三、涉及到的数学知识

　　1. 凸优化 (Convex Optimization): 牛顿法、梯度下降法、一维搜索

　　2. 微积分

　　　　极值问题 与 （条件）最优化问题

　　　　偏导数，梯度这两个概念必须深入人心

　　　　还有就是凸优化和条件最优化问题，这个是理解SVM，或者线性回归等等模型正则化的基础。。。

四、深度学习框架 Caffe, TensorFlow, Theano

　　2.