机器学习能让我们自数据集中受到启发，换句话说，我们会利用计算机来彰显数据背后的真实含义，这才是机器学习的真实含义。它既不是只会徒然模仿的机器人，也不是具有人类感情的仿生人。
1.1 何为机器学习
机器学习就是把无序的数据转换成有用的信息。
机器学习横跨计算机科学、工程技术和统计学等多个学科，需要多个学科的专业知识。
1.1.1 传感器和海量数据
地震预测中，传感器收集了海量的数据，如何从这些数据中抽取出有价值的信息是一个非常值得研究的课题。
1.1.2 机器学习非常重要
大量的经济活动都依赖于信息，我们不能在海量的数据中迷失，机器学习将有助于我们穿越数据雾霭，从中抽取出有用的信息。
1.2 关键术语
专家系统
机器学习的一项任务就是分类。
我们决定使用某个机器学习算法进行分类，首先需要做的是算法训练，即学习如何分类。
通常我们为算法输入大量已分类数据作为算法的训练集。训练集是用于机器学习算法的数据样本集合。
目标变量是机器学习算法的预测结果，在分类算法中目标变量的类型通常是离散型的，而在回归算法中通常是连续型的。训练样本集是必须确定知道目标变量的值，以便机器学习算法可以发现特征和目标变量之间的关系。
我们通常将分类问题中的目标变量称为类别，并假定分类问题只存在有限个数的类别。
特征或者属性通常是训练样本集的列，它们通常是独立测量得到的结果，多个特征联系在一起共同组成一个训练样本。
为了测试机器学习算法的效果，通常使用两套独立的样本集：训练数据和测试数据。当机器学习程序开始运行时，使用训练样本集作为算法的输入，训练完成之后属于哪个样本。输入测序样本时并不提供测试样本的目标变量，由程序决定样本属于哪个类别。比较测试样本预测的目标变量值与实际样本类别之间的差别，就可以得出算法的实际精确度。
知识表示，某些算法可以产生很容易理解的知识表示，而某些算法的知识表示也许只能为计算机所理解。知识表示可以采用规则集的形式，也可以采用概率分布的形式，甚至可以时训练样本集的一个实例。
1.3 机器学习的主要任务
一、分类，主要任务是将实例数据划分到合适的分类中。
二、回归，主要用于预测数值型数据。
数据拟合曲线：通过给定数据点的最优拟合曲线。
分类和回归属于监督学习，这类算法必须知道预测什么，即目标变量的分类信息。
与监督学习相对应的是非监督学习，此时数据没有类别信息，也不会给定目标值。在非监督学习中，将数据集合分成由类似的对象组成的多个类的过程被称为聚类；将寻找描述数据统计值的过程称之为密度估计。此时，非监督学习还可以减少数据特征的维度，以便我们可以使用二维或三维图形更加直观地展示数据信息。
1.4 如何选择合适的算法
选择实际可用的算法，必须考虑下面两个问题：
一、使用机器学习算法的目的，想要算法完成何种任务，比如，是预测明天下雨的概率还是岁投票者按照兴趣分组；
二、需要分析或收集的数据是什么？
首先考虑使用机器学习算法的目的。如果想要预测目标变量的值，则可以选择监督学习算法，否则选择非监督学习算法。确定选择监督算法之后，需要进一步确定目标变量类型，如果目标变量是离散型，如是/否、1/2/3、A/B/C或者红/黄/黑等，则可以选择分类算法；如果目标变量是连续性的数值，如0.0~100.00、-999~999或者-∞~+∞，则需要选择回归算法。
如果不想预测目标变量的值，则可以选择非监督学习算法。进一步分析是否需要将数据划分为离散的组。如果这是唯一的需求，则使用积累算法；如果还需要估计与每个分组的相似程度，则需要使用密度估计算法。
在大多数情况下，上面给出的选择方法都能帮助读者选择恰当的机器学习算法，但这也并非一成不变。
其次需要考虑的是数据问题。我们应该充分了解数据，对实际数据了解得越充分，也容易创建符合实际需求的应用程序。主要应该了解数据的以下特征：特征值是离散型还是连续性变量，特征值中是否存在缺失的值，何种原因造成缺失值，数据中是否存在异常值，某个特征发生的频率如何（是否罕见得如同海底捞月），等等。充分了解上面提到的这些数据可以缩短选择机器学习算法的时间。
我们只能在一定程度上缩小算法的选择范围，一般并不存在最好的算法或者可以给出最好结果的算法，同时还要尝试不同算法的效果。对于所选的每种算法，都可以使用其他的机器学习技术来改进其性能。在处理输入数据之后，两个算法的相对性能也可能会发生变化。
机器学习算法虽然各不相同，但是使用算法创建应用程序的步骤却基本类似。
1.5 开发机器学习应用程序的步骤
（1）收集数据。我们可以使用很多方法收集样本数据。如：制作网络爬虫从网站上抽取数据、从RSS反馈或者API中得到信息、设备发送过来的实测数据（风速、血糖等）。
（2）准备输入数据。得到数据之后，必须确保数据格式符合要求，这里采用的是Python的List。使用这种标准格式可以融合算法和数据源，方便匹配操作。使用Python语言构造算法应用，参照这里。
此外还需要为机器学习算法准备特定的数据格式，如某些算法要求特征值使用特定的格式，一些算法要求目标变量和特征值是字符串类型，而另一些算法则可能要求是整数类型。与收集数据的格式相比，处理特殊算法要求的格式相对简单得多。
（3）分析输入数据。此步骤主要是人工分析以前的数据。为了确保前两步有效，最简单的方法是用文本编辑器打开数据文件，查看得到的数据是否为空值。此外，还可以进一步浏览数据，分析是否可以识别出模式；数据中是否存在明显的异常值，如某些数据点与数据集中的其他值存在明显的差异。通过一维、二维或三维图形展示数据也是不错的方法，然而大多数时候我们得到的数据的特征值都不会低于三个，无法一次图形化展示所有特征。提炼数据，使得多为数据可以压缩到二维或三维，方便我们图形化展示数据。
这一步的主要作用是确保数据集中没有垃圾数据。如果是在产品化系统中使用机器学习算法并且算法可以处理系统产生的数据格式，或者我们信任数据来源，可以直接跳过第3步。此步骤需要人工干预，如果在自动化系统中还需要人工干预，显然就降低了系统的价值。
（4）训练算法。机器学习算法从这一步才真正开始学习。根据算法的不同，第4步和第5步是机器学习算法的核心。我们将前两步得到的格式化数据输入到算法，从中抽取知识或信息。这里得到的知识需要存储为计算机可以处理的格式，方便后续步骤使用。
如果使用无监督学习算法，由于不存在目标变量值，故而也不需要训练suan'fa，所有与算法相关的内容都集中在第5步。
（5）测试算法。这一步将实际使用第4步机器学习得到的知识信息。为了评估算法，必须测试算法工作的效果。对于监督学习，必须已知用于评估算法的目标变量值；对于无监督学习，也必须用其他的评测手段来检验算法的成功率。无论哪种情形，如果不满意算法的输出结果，则可以回到第4步，改正并加以测试。问题常常会跟数据的收集和准备有关，这时你就必须跳回第1步重新开始。
（6）使用算法。将机器学习算法转换为应用程序，执行实际任务，以检验上述步骤是否可以在实际环境中正常工作。此时如果碰到新的数据问题，同样需要重复执行上述的步骤。
1.6 Python语言的优势
（1）Python的语法清晰；
（2）易于操作纯文本文件；
（3）使用广泛，存在大量的开发文档。
1.6.1 可执行伪代码
Python具有清晰的语法结构，也把它称作可执行伪代码（executable pseudo-code）。默认安装的Python开发环境已经附带了很多高级数据类型，如列表、元组、字典、集合、队列等，无需进一步编程就可以使用这些数据类型的操作。使用这些数据类型使得实现抽象的数学概念非常简单。
Python语言处理和操作文本非常简单，非常易于处理非数值型数据。Python语言提供了丰富的正则表达式函数以及很多访问Web页面的函数库，使得从HTML中提取数据变得非常简单直观。
1.6.2 Python比较流行
Python语言使用广泛，代码范例也很多，便于读者快速学习和掌握。此外，在开发实际应用程序时，也可以利用丰富的模块库缩短开发周期。
在科学和金融领域，Python语言得到了广泛应用。SciPy和Numpy等许多科学函数库都实现了向量和矩阵操作，这些函数库增加了代码的可读性，学过线性代数的人都可以看懂代码的实际功能。另外，科学函数库SciPy和NumPy使用底层（C和Fortran）编写，提高了相关应用程序的计算性能。
Python的科学工具可以与绘图工具Matplotlib可以绘制2D、3D图形，也可以处理科学研究中经常使用到的图形。
Python开发环境还提供了交互式shell环境，允许用户开发程序时查看和检测程序内容。
Pylab模块
1.6.3 Python语言的特色
对于大多数人来说，编程仅仅是完成其他任务的工具而已。我们可以花费更多的时间处理数据的内在含义，而无须花费太多精力解决计算机如何得到数据结果。Python语言使得我们很容易表达自己的目的。
1.6.4 Python语言的缺点
性能问题。
1.7 NumPy函数库基础
机器学习算法涉及到很多线性代数知识，这里用到线性代数只是为了简化不同的数据点上执行的相同数学运算。将数据表示为矩阵形式，只需要执行简单的矩阵运算而不需要复杂的循环操作。这里使用PyChram的Python console，输入以下命令：
from numpy import*
上述命令将NumPy函数库中的所有模块引入到当前的命名空间。
然后输入下列命令：
random.rand(4,4)
上述命令构造了一个4×4的随机数组，因为产生的是随机数组，不同计算机的输出结果可能与上述结果完全不同。
Numpy矩阵与数组的区别：NumPy函数库中存在两种不同的数据类型（矩阵matrix和数组array），都可以用于处理行列表示的数字元素。虽然它们看起来很相似，但是在这两个数据类型上执行相同的数学运算可能得到不同的结果，其中NumPy函数库中的matrix与MATLAB中的matrix等价。
调用mat()函数可以将数组转化为矩阵，输入以下命令：
randMat = mat(random.rand(4,4))
randMat.I
由于使用随机函数产生矩阵，不同计算机上输出的值可能略有不同：
.I操作符实现了矩阵求逆的运算。
执行下面的命令存储逆矩阵：
invRandMat = randMat.I
接着执行矩阵乘法，得到矩阵与其逆矩阵相乘的结果：
randMat*invRandMat
结果应该是单位矩阵，除了对角线元素是1，4×4矩阵的其他元素应该是全是0。实际输出结果略有不同，矩阵中还留下许多微小的元素，这是计算机处理的结果。输入下述命令，得到误差值：
myEye = randMat*invRandMat
myEye - eye(4)
函数eye(4)创建4×4的单位矩阵。