神经网络、深度学习创新点的思考

从特征学习（Feature Learning）的观点来看，神经网络尤其是深度神经网络（也即是深度学习）是十分强大的特征学习方法。例如就可将 Autoencode 视为一种特征降维的方法。

也正因如此，在经过深度学习模型（ANN、CNN、RNN、LSTM等模型）的训练之后，其实是学习到了一些很好的特征，便可以用来分类（classification），recognition（识别）等计算机视觉人任务。

• CNN + softmax ⇒ CNN + SVM

1. 可调参数

当人为地定义一些函数，对原始的问题，进行一定的泛化和拓展，最好为这些增加一些额外的参数，进行必要的控制和调节。

• 比如，模拟退火的接受概率：

  p={1,exp−E(n+1)−E(n)T,E(n+1)<E(n)E(n+1)≥E(n)

2. Multi-scale

• Coarse & Fine

  
  
  

3. online ⇒ offline

In contrast to most existing trackers which only learn the appearance of the tracked object online, we take a different approach, inspired by recent advances in deep learning architectures, by putting more emphasis on the (unsupervised) feature learning problem. Specifically, by using auxiliary natural images, we train a stacked denoising autoencoder offline to learn generic image features that are more robust against variations. This is then followed by knowledge transfer from offline training to the online tracking process.

offline ⇒ generic ⇒ more robust against variations；

4. corrupt & robust

针对 corrupted 版本（输入或者模型架构本身）的训练，其实是为了提高整个模型的鲁棒性（robustness）。

Corrupt 的方式不只有常规的加噪声一种，还要比如部分特征的删除，以一定概率（p≥0）。

• dropout：部分神经元 removal；
• ResNet：部分 layer removal；
• 部分 features removal；