典型的机器学习一般思路：预处理、特征提取、特征选择、推理预测或者识别。深度学习能够尽可能地使用算法解决预处理、特征提取、特征选择。
传统机器学习里，拿什么作为特征对学习影响比较大。特征多增加计算量，如果选择对学习目标有干扰的特征会干扰学习效果。需要人的经验来选择特征。深度学习可以用算法去解决。
深度学习是一种基于无监督特征学习和特征层次结构的学习模型，其实是对神经网络模型的拓展。
传统机器学习使用HOG提取低层面特征，再用DPM组件模型提取中层面特征，再用SVM进行分类。而深度学习直接进行端到端的处理，包含自动提取特征和分类，高维的权重参数。
深度学习与神经网络的区别
| 神经网络 | 深度学习 | |
|---|---|---|
| 网络架构 | 3层以内 | 可达上千层 |
| 层间连接 | 通常是全连接 | 形式多样：共享权值、跨层的反馈 |
| 目标函数 | 差的平方和 MSE | 交叉熵 CE |
| 激活函数 | Sigmoid、tanh等 | ReLU等 |
| 梯度下降 | 基本的梯度下降GD等 | Adam 自适应矩估计等 |
| 避免过适应 | 凭经验 | 早期停止、Dropout等 |