嵌入式平台做深度学习算法，不可不重视的4件事

周末的最后一刻还在实验室奋战，标题党了一回，随便写点东西。

参考论文

ICLR2017的一篇文章 https://arxiv.org/abs/1605.07678v3

An Analysis of Deep Neural Network Models for Practical Applications

一、推理时间

针对不同的算法，需要考察以下两项推理时间指标。

1. 单图像运算推理时间。考察单幅图像时间消耗。
2. 推理时间随batch size大小的变化情况。考察多图像并行处理的时间消耗。

二、内存消耗

针对不同的算法，需要考察以下两项内存占用指标。

1. 单图像运算内存占用量。考察单幅图像内存占用。
2. 内存占用随batch size变化曲线。考察多图像并行处理的内存占用。

三、算法性能与吞吐量

算法性能评估是最重要的环节之一，同时嵌入式平台通常对实时性有需求。一定要考察不同算法或相同算法的不同简化程度，获得算法性能与吞吐量的变化曲线，权衡算法性能与实时性，以做出最优设计。

四、运算量

运算量与推理时间之间存在近似线性关系，针对不同的算法，一定要考察不同batch size时运算量与推理时间的关系，从而合理评估运算量与推理时间的联系，便于针对性调整算法规模以权衡网络实时性要求与资源限制。