《python深度学*》笔记---1.3、为什么是深度学*，为什么是现在
一、总结
一句话总结：
深度学**些年投资特别多，而且目前没有迹象表明这种趋势会在短期内放缓，所以搞这行一定可以赚到很多钱
1、有时候，大事件都是从游戏 开始的？
NVIDIA和AMD等公司投资数十亿美元：在20 世纪前十年里，NVIDIA 和 AMD 等公司投资数十亿 美元来开发快速的大规模并行芯片（图形处理器，GPU），以便为越来越逼真的视频游戏提供图 形显示支持。
借用超级计算：这样，游戏市场资助了用于下一代人工智能应用的超级计算。有时候，大事件都是从游戏 开始的。
2、人工智能有时被称为新的工业革命？
数据是煤炭：如果深度学*是这场革命的蒸汽机，那么数据就是煤炭， 即驱动智能机器的原材料，没有煤炭一切皆不可能。
3、这一情况在2009—2010 年左右发生了变化，当时出现了几个很简单但很重要的算法改进， 可以实现更好的梯度传播？
更好的神经层激活函数（activation function）
更好的权重初始化方案（weight-initialization scheme）：一开始使用逐层预训练的方法， 不过这种方法很快就被放弃了。
更好的优化方案（optimization scheme）：比如 RMSProp 和 Adam。
4、在2014 年、2015 年和2016 年，人们发现了更先进的有助于梯度传播的方法？
【批标准化、残差连接和深度可分离卷积】：比如 批标准化、残差连接和深度可分离卷积。今天，我们可以从头开始训练上千层的模型。
5、深度学*这种投资趋势会持续吗？
|||-begin
深度神经网络成为企业投资和研究人员纷纷选择的正确方法，它究竟有何特别之处？换句 话说，深度学*是否只是难以持续的昙花一现？ 20 年后我们是否仍在使用深度神经网络？
|||-end
深度学*潜力趋势性质：深度学*有几个重要的性质，证明了它确实是人工智能的革命，并且能长盛不衰。20 年后 我们可能不再使用神经网络，但我们那时所使用的工具都是直接来自于现代深度学*及其核心 概念。
简单：深度学*不需要特征工程，它将复杂的、不稳定的、工程量很大的流程替换为简 单的、端到端的可训练模型，这些模型通常只用到五六种不同的张量运算。
可扩展：深度学*非常适合在GPU或TPU上并行计算，因此可以充分利用摩尔定律。此外， 深度学*模型通过对小批量数据进行迭代来训练，因此可以在任意大小的数据集上进行 训练。
多功能与可复用：与之前的许多机器学*方法不同，深度学*模型无须从头开始就可以 在附加数据上进行训练，因此可用于连续在线学*，这对于大型生产模型而言是非常重 要的特性。此外，训练好的深度学*模型可用于其他用途，因此是可以重复使用的。
6、深度学*可以适用 于较小的数据集（多功能与可复用）？
训练好的模型可以复用：与之前的许多机器学*方法不同，深度学*模型无须从头开始就可以 在附加数据上进行训练，因此可用于连续在线学*，这对于大型生产模型而言是非常重 要的特性。此外，训练好的深度学*模型可用于其他用途，因此是可以重复使用的。
用于较小的数据集：举个例子，可以将一个对图像分类进行训练的深度学*模型应用于视频处理流程。这样我 们可以将以前的工作重新投入到日益复杂和强大的模型中。这也使得深度学*可以适用 于较小的数据集。
二、内容在总结中
博客对应课程的视频位置：