文章 从机器学习谈起的阅读小记。
机器学习中的通用近似定理（universal approximation theorem）：一个包含足够多层隐含层神经元的前馈网络，能以任意精度逼近任意预定的连续函数。即若待解的问题可以建模为连续函数，则一定可以用神经网络（即多项式的线性组合）来逼近该函数。
这点与数学中的泰勒展开相通，泰勒展开也是用多项式组合来近似表示原函数。
两者的区别在于：
神经网络中原函数是不知道的，且很难找到原函数，故用训练出来的多项式线性组合来代表原函数。
泰勒展开中的原函数是知道的且通常不易代入求值，故用展开式子来近似代表原函数，由于展开式是多项式组合故计算容易
一、摘要
本文首先介绍了互联网界与机器学习大牛结合的趋势，以及使用机器学习的相关应用，接着以一个“等人故事”展开对机器学习的介绍。介绍中首先是机器学习的概念与定义，然后是机器学习的相关学科，机器学习中包含的各类学习算法，接着介绍机器学习与大数据的关系，机器学习的新子类深度学习，最后探讨了一下机器学习与人工智能发展的联系以及机器学习与潜意识的关联。经过本文的介绍，相信大家对机器学习技术有一定的了解，例如机器学习是什么，它的内核思想是什么(即统计和归纳)，通过了解机器学习与人类思考的近似联系可以知晓机器学习为什么具有智慧能力的原因等等。其次，本文漫谈了机器学习与外延学科的关系，机器学习与大数据相互促进相得益彰的联系，机器学习界最新的深度学习的迅猛发展，以及对于人类基于机器学习开发智能机器人的一种展望与思考，最后作者简单谈了一点关于让计算机拥有潜意识的设想。
二、详文
三、小记
（一）机器学习的含义
训练、模型、预测：由训练数据训练出模型，此后可用该模型和新数据进行预测
（二）机器学习的范围
从范围上来说，机器学习跟模式识别，统计学习，数据挖掘是类似的，同时，机器学习与其他领域的处理技术的结合，形成了计算机视觉、语音识别、自然语言处理等交叉学科。因此，一般说数据挖掘时，可以等同于说机器学习。同时，我们平常所说的机器学习应用，应该是通用的，不仅仅局限在结构化数据，还有图像，音频等应用。
机器学习与其他领域的关系：
模式识别
模式识别=机器学习。两者的主要区别在于前者是从工业界发展起来的概念，后者则主要源自计算机学科。
数据挖掘
数据挖掘=机器学习+数据库。大部分数据挖掘中的算法是机器学习的算法在数据库中的优化。
统计学习
统计学习近似等于机器学习。统计学习是个与机器学习高度重叠的学科，机器学习中的大多数方法来自统计学。但是在某种程度上两者是有分别的，这个分别在于：统计学习者重点关注的是统计模型的发展与优化，偏数学，而机器学习者更关注的是能够解决问题，偏实践，因此机器学习研究者会重点研究学习算法在计算机上执行的效率与准确性的提升。
计算机视觉
计算机视觉=图像处理+机器学习。图像处理技术用于将图像处理为适合进入机器学习模型中的输入，机器学习则负责从图像中识别出相关的模式。。
语音识别
语音识别=语音处理+机器学习。语音识别就是音频处理技术与机器学习的结合。语音识别技术一般不会单独使用，一般会结合自然语言处理的相关技术。目前的相关应用有苹果的语音助手siri等。
自然语言处理
自然语言处理=文本处理+机器学习。
（三）机器学习的算法
1、有监督学习的算法
- 回归算法（包括线性回归、逻辑回归）：Sigmoid函数；梯度下降法算代价函数极值、牛顿法
- 人工神经网络算法（ANN）：由输入层（采集）、隐藏层（分析处理）、输出层（发送）组成网络；LeNet；BP算法加速训练过程。深度学习是基于深度ANN的学习技术。
- 支持向量机算法（SVM）：把低维数据映射到高维进行线性分类从而得到原低维数据的非线性分类；SMO算法
2、无监督学习的算法
- 聚类算法：K-Means算法
- 降维算法：PCA算法(即主成分分析算法)，用于特征提取等
3、特殊算法
- 推荐算法：如协同过滤算法
- 基于内容相似度的推荐算法
- 基于用户相似度的推荐算法
除了上述六种外，还有如高斯判别，朴素贝叶斯，决策树等算法，但上述六种是最重要且最常用的。
4、其他算法
除了这些算法以外，有一些算法的名字在机器学习领域中也经常出现。但他们本身并不算是一个机器学习算法，而是为了解决某个子问题而诞生的。你可以理解他们为以上算法的子算法，用于大幅度提高训练过程。其中的代表有：
- 梯度下降法：主要运用在线性回归、逻辑回归、神经网络、推荐算法中
- 牛顿法：主要运用在线性回归中
- BP算法，主要运用在神经网络中
- AutoEncoder(自动编码机)技术，主要运用在深度学习中，用于特征提取
- SMO算法，主要运用在SVM中
（四）机器学习与大数据
单从分析方法来看，大数据包含以下四种分析方法：
- 大数据，小分析：即数据仓库领域的OLAP分析思路，也就是多维分析思想。
- 大数据，大分析：这个代表的就是数据挖掘与机器学习分析法。
- 流式分析：这个主要指的是事件驱动架构。
- 查询分析：经典代表是NoSQL数据库。
也就是说，机器学习仅仅是大数据分析中的一种而已。
（五）机器学习与人工智能、深度学习
深度学习就是传统的神经网络发展到了多隐藏层的情况，具有多个隐藏层的神经网络被称为深度神经网络，基于深度神经网络的学习研究称之为深度学习。
（六）总结
机器学习的核心：统计和归纳。成功的机器学习应用不是拥有最好的算法，而是拥有最多的数据！