《深度学习》阅读笔记1
Ian Goodfellow, Yoshua Bengio, Aaron Courville著
人民邮电出版社，北京
译者序
- 深度学习的定义：层次化的概念让计算机构建较简单的概念来学习复杂概念。
第1章 引言
1.1 基本概念介绍
- 本书讨论一种解决方案，该方案可以让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。
- AI系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力，这种能力被称为机器学习（machine learning）。
- 表示的选择会对机器学习算法的性能产生巨大的影响。
- 许多人工智能任务都可以通过以下方式解决：先提取一个合适的特征集，然后将这些特征提供给简单的机器学习算法。
对于许多问题来说，我们很难知道应该提取哪些特征，表示学习（representation learning）是使用机器学习来发掘表示本身的方法之一。
- 表示学习（representation learning）例子——自编码器（autoencoder）
- 由编码器（encoder）和解码器（decoder）函数组成。
- 编码器函数将输入数据转化为一种不同的表示
- 解码器函数将这个新的表示转换回原来的形式
- 训练目标：期望当输入数据经过编码器和解码器之后尽可能多地保留信息，同时希望新的表示有各种好的特性。
- 为了实现不同的特性，我们可以设计不同形式的自编码器。
- 当设计特征或用于学习特征的算法时，我们的目标通常是分离出能解释观察数据的变差因素（factors of variation）。
- 深度学习（deep learning）通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。
- 深度学习的典型例子是前馈深度网络或多层感知机（multilayer perceptron，MLP）。
- 多层感知机仅仅是一个将一组输入值映射到输出值的数学函数，该函数由许多较简单的函数复合而成，我们可以认为不同数学函数的每一次应用都为输入提供了新的表示。
- 深度学习基本模型：
- 可见层（visible layer），它包含我们能观察到的变量。
- 隐藏层（hidden layer）， 它们的值不在数据中给出。
- 输出层（output layer），识别图像中存在的对象。
- 目前主要有两种度量模型深度的方式：
- 一种是基于评估架构所需执行的顺序指令的数目。
- 深度是从输入到输出的最长路径的长度，但这取决于可能的计算步骤的定义。
- 另一种是在深度概率模型中使用的方法，它不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度。
- 韦恩图表示深度学习地位：（（（（深度学习）表示学习）机器学习）AI）
1.2 深度学习的历史趋势
- 控制论（cybernetics）->联结主义（connectionism）->深度学习（deep learning）
- 联结主义（connectionism）的几个关键概念在今天的深度学习中仍然是非常重要的：
- 其中之一是分布式表示（distributed representation）：
- 其思想是：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。
- 反向传播算法仍是训练深度模型的主导方法。
- 当动物的许多神经元一起工作时会变得聪明，单独神经元或更小集合的神经元不是特别有用。
- 深度学习（deep learning）：
- 其中之一一个成就就是其在强化学习（reinforcement learning）领域的扩展。在强化学习中，一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。