Artificial Intelligence
Logic-based AI,也称为符号主义AI,能够解决良定义的逻辑问题well defined logical problems比如国际象棋。
但对解决更复杂、模糊问题,比如图像分类,语音识别或者翻译,就束手无策了。
通常说来,AI非常广泛,包含了机器学习和深度学习,但也包含很多没有学习的那些领域分支。
Machine Learning
Alan Turing是早期思考机器能否学习和创新的人之一,他曾经引用AdaLovelace的话来表达自己对于设计通用机器具备学习和创造的思考。
Machine Learning由下面这个问题而生:计算机能否从“我们让它干什么”变成“自己学会执行一个特定的任务”?
面向工程的方向——engineering-oriented
解决实际问题——real world complex problems
Representational Learning
上例子是手工设计的,但是我们能够搜索不同的可能的坐标变换,利用正确分类点的比例去调整。
机器学习中的“学习”其实描述了一种对更好的表示的自动搜索过程。
所有机器学习算法包含自动发现变换的过程:可以是坐标变换,线性投影,平移变换,非线性变化等等。
机器学习算法在这方面并无“创造力”,仅仅是搜索操作的预设集合——假设空间。
Deep Learning
Deep Learning是一种学习表示的方式,能够连续型地获取更加有意义的表示。
其中的Deep表示的是整个模型的深度——加深神经网络的层次。
目前数十层到数百层的表示甚至更多,算法自动学习这些表示。
对应的浅层的结构常常称为“Shallow Learning”。
深度学习不是真实大脑的模型。
其中常用的神经网络的术语来自于神经生物学,主要是最初的发展受到这方面的启发。
深度学习其实是学习表示的数学框架。