深度学习性能问题

0. benchmark

• GitHub - pascanur/DeepLearningBenchmarks

1. 深度学习模型的计算

• MLP & CNN：

  • Large matrix-matrix multiplications dominate in the MLP example

    大矩阵的乘法由何而来呢？
    比如对于手写字符识别问题，一个隐层，784*500*10，
    则在输入时未必是一个28*28 的图像展开成 784 维的列向量，而是 minibatch，60 个图像同时丢进去（构成一个输入矩阵），(60*784) * (784*50) * (50*10)；

  • two-dimensional image convolutions with small kernels are the major bottleneck in a convolutional network.

2. CPU vs GPU

• 多层感知机网络，使用 SGD 优化算法，应用于手写字符识别问题；
• 784（28*28）的输入，500 个隐层，10 分类问题；