《python深度学习》笔记---1.1、人工智能、机器学习与深度学习
一、总结
一句话总结：
人工智能包含机器学习，机器学习包含深度学习
系统看看书，体系比较清晰
1、从噪声中识别出信号？
从噪声中识别出信号：对于未来或当前的机器学习从业者来说，重要的是能够从噪声中识别出信号，从而在过度炒作的新闻稿中发现改变世界的重大进展
2、人工智能的简洁定义？
智力任务自动化：努力将通常由人类完成的智力任务自动化。
3、符号主义人工智能（symbolic AI）？
明确规则：在相当长的时间内，许多专家相信，只要程序员精 心编写足够多的明确规则来处理知识，就可以实现与人类水平相当的人工智能。这一方法被称 为符号主义人工智能（symbolic AI），
4、机器学习来源？
符号主义人工智能力有限：虽然符号主义人工智能适合用来解决定义明确的逻辑问题，比如下国际象棋，但它难以给出明确的规则来解决更加复杂、模糊的问题，比如图像分类、语音识别和语言翻译。于是出现了一种新的方法来替代符号主义人工智能，这就是机器学习（machine learning）。
5、经典程序设计和机器学习输入输出的区别？
经典程序设计：（规则+数据）=>答案
机器学习：（数据+答案）=>规则
6、假设空间（hypothesis space）？
机器学习算法寻找变换：所有机器学习算法都包括自动寻找这样一种变换：这种变换可以根据任务将数据转化为更加有用的表示。这些操作可能是前面提到的坐标变换，也可能是线性投影（可能会破坏信息）、平移、 非线性操作（比如“选择所有x>0 的点”），等等。
遍历预先定义好的操作：机器学习算法在寻找这些变换时通常没有什么创造性，而仅仅是遍历一组预先定义好的操作，这组操作叫作假设空间（hypothesis space）。
7、机器学习的技术定义？
利用反馈信号的指引来寻找输入数据的有用表示：在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。这个简单的想法可以解决相当多的智能任务，从语音识别到自动驾驶都能解决。
8、浅层学习（shallow learning）？
一两层的数据表示：现代深度学习 通常包含数十个甚至上百个连续的表示层，这些表示层全都是从训练数据中自动学习的。与此 相反，其他机器学习方法的重点往往是仅仅学习一两层的数据表示，因此有时也被称为浅层学习（shallow learning）。
9、深度学习模型不是大脑模型？
忘记假想联系：你无须那种“就像我们的头脑一样”的神秘包装，最好也忘掉读过的深度学习与生物学之间的假想联系。
从数据中学习表示的一种数学框架：就我们的目的而言，深度学习是从数据中学习表 示的一种数学框架。
10、你可以将深度网络看作多级信息蒸馏操作？
纯度越来越高：信息穿过连续的过滤器，其纯度越来越高（即对任务的帮助越来越大）。
11、深度学习的技术定义？
数据表示的多级方法：学习数据表示的多级方法。这个想法很简单，但事实证明， 非常简单的机制如果具有足够大的规模，将会产生魔法般的效果。
12、机器学习和深度神经 输入输出解释？
将输入映射到目标：机器学习是将输入（比如图像）映射到目标（比如标签“猫”），这一过 程是通过观察许多输入和目标的示例来完成的。
输入到目标的映射：深度神经网络通过一系列简单的数 据变换（层）来实现这种输入到目标的映射，而这些数据变换都是通过观察示例学习到的。
13、神经网络的参数化解释？
保存在该层的权重：神经网络中每层对输入数据所做的具体操作保存在该层的权重（weight）中，其本质是一 串数字。
权重参数化：用术语来说，每层实现的变换由其权重来参数化（parameterize，见图1-7）。权重有时 也被称为该层的参数（parameter）。
找权重值：在这种语境下，学习的意思是为神经网络的所有层找到一组 权重值，使得该网络能够将每个示例输入与其目标正确地一一对应。
14、神经网络损失函数（loss function）？
衡量输出与预期值之间的距离：想要控制神经网络的输出，就需要能够衡量该 输出与预期值之间的距离。这是神经网络损失函数（loss function）的任务，该函数也叫目标 函数（objective function）。
网络预测值与真实目标值：损失函数的输入是网络预测值与真实目标值（即你希望网络输出的 结果），然后计算一个距离值，衡量该网络在这个示例上的效果好坏
15、神经网络优化器（optimizer）？
根据损失函数来调参：深度学习的基本技巧是利用这个距离值作为反馈信号来对权重值进行微调，以降低当前示 例对应的损失值。
反向传播：这种调节由优化器（optimizer）来完成，它实现了所谓的反向 传播（backpropagation）算法，这是深度学习的核心算法。
16、深度学习的一些突破？
智能对话、网络搜索、语音识别、语音转换等
接近人类水平的图像分类
接近人类水平的语音识别
接近人类水平的手写文字转录
更好的机器翻译
更好的文本到语音转换
数字助理，比如谷歌即时（Google Now）和亚马逊 Alexa
接近人类水平的自动驾驶
更好的广告定向投放，Google、百度、必应都在使用
更好的网络搜索结果
能够回答用自然语言提出的问题
在围棋上战胜人类
17、不要相信短期炒作？
期望过高：虽然深度学习近年来取得了令人瞩目的成就，但人们对这一领域在未来十年间能够取得的 成就似乎期望过高。
更多的应用可能在长时间内仍然难以实现：虽然一些改变世界的应用（比如自动驾驶汽车）已经触手可及，但更多的 应用可能在长时间内仍然难以实现，比如可信的对话系统、达到人类水平的跨任意语言的机器 翻译、达到人类水平的自然语言理解。
别太当回事：我们尤其不应该把达到人类水平的通用智能（human-level general intelligence）的讨论太当回事。
过高期望未能实现：由于这些过高的期望未能实现，研究人员和政府资金 均转向其他领域，这标志着第一次人工智能冬天（AI winter）的开始（这一说法来自“核冬天”， 因为当时是冷战高峰之后不久）。
18、人工智能的两次冬天（AI winter）？
资金：第一次：由于这些过高的期望未能实现，研究人员和政府资金 均转向其他领域，这标志着第一次人工智能冬天（AI winter）的开始（这一说法来自“核冬天”， 因为当时是冷战高峰之后不久）。
专家系统：第二次：20 世纪80 年代，一种新的符号主义人工智能——专 家系统（expert system）——开始在大公司中受到追捧。最初的几个成功案例引发了一轮投资热 潮，进而全球企业都开始设立人工智能部门来开发专家系统。
各家公司每年在这项技术上的花费超过 10 亿美元：第二次：1985 年前后，各家公司每年在这 项技术上的花费超过 10 亿美元。但到了 20 世纪 90 年代初，这些系统的维护费用变得很高，难 以扩展，并且应用范围有限，人们逐渐对其失去兴趣。
19、人工智能的未来？
前景光明：虽然我们对人工智能的短期期望可能不切实际，但长远来看前景是光明的。
变革性作用：我们才刚刚开 始将深度学习应用于许多重要的问题，从医疗诊断到数字助手，在这些问题上深度学习都发挥 了变革性作用。
过度炒作：在这个过程中，我们可能会经历一些挫折，也可能会遇到新的人工智能冬天，正如互联网 行业那样，在 1998—1999 年被过度炒作，进而在21 世纪初遭遇破产，并导致投资停止。
需要一段时间：不要相信短期的炒作，但一定要相信长期的愿景。人工智能可能需要一段时间才能充分发 挥其潜力。这一潜力的范围大到难以想象，但人工智能终将到来，它将以一种奇妙的方式改变 我们的世界。
20、过去五年里，人工智能研究一直在以惊人的速度发展的原因？
前所未见的资金投入：过去五年里，人工智能研究一直在以惊人的速度发展，这在很大程度上是由于 人工智能短短的历史中前所未见的资金投入，但到目前为止，这些进展却很少能够转化为改变 世界的产品和流程。
21、深度学习不一定总是解决问题的正确工具？
需要足够数据：有时没有足够的数据，深度学习不适用；有时用其他算法可以更好地解决问题。
“锤子”：如果你第一次接触的机器学习就是深度学习，那你可能会 发现手中握着一把深度学习“锤子”，而所有机器学习问题看起来都像是“钉子”。
熟悉其他机器学习：为了避免陷 入这个误区，唯一的方法就是熟悉其他机器学习方法并在适当的时候进行实践。
二、内容在总结中
博客对应课程的视频位置：