温故而知新,参考mentor睿昊学长(xhplus)和主管锋伟(forwil)的专栏,记录在商汤实习内容的总结和反思。希望商汤工具人组越来越nb!
什么是模型部署
经过大量的图片进行训练后,一个具有上亿个参数的深度学习模型在测试集上达到的预定的精度,这时候老板们一定催着把这个模型上线/搭载到产品中 进行 验证/售卖。模型部署就是完成深度学习算法产品化的最后一步。一个完美的模型部署工具/引擎,理应完成以下几个功能:
- 跨平台:可跑在任何的硬件上,包括各类cpu/gpu/dsp/asic/fpga...
- 高效能:速度快、占用内存少...
- 保精度:产品精度与训练精度保持一致、损失极少...
- 产品集成:满足产品的各种用法,包括加密、批处理、reshape,甚至授权,可裁剪
- 训练打通:与训练生态打通,最好是训练完成后,简单命令直接导出
理想是美好的,现实往往很惨。理应把模型部署做的很好的源头:pytorch、tensorflow 做得不尽人意,尤其体现在跨平台、高效能和产品集成上。猜测是因为G&F两家的模型部署场景只有云与端,云侧可以用暴力的serving API直接将单模型上线,端侧似乎大家只关心手机,G家草草的搞个tensorflow-lite支持arm/ocl就完事了。
在这方面明显国内的需求场景走的非常靠前:1、国产成熟的深度学习芯片大量覆盖云侧和端侧,端侧需求除手机之外需求同样十分旺盛。2、国内的算法精度/速度要求及其高,普通的单模型流程无法满足。
现在是2020年,可以断言的是,国内随便一家做AI公司的部署系统,必定领先G家和F家好几代,这是贵国产业软件技术领先性上,非常难得的状态。
怎么是多平台模型部署
多平台模型部署指的是将已经训练收敛的模型,经过一系列工具,最终将模型运用在各式各样的计算设备上。市面上所有云端、边缘的人脸特效、人脸验证等功能,都是以此种模式运行,达到高性能、低延时。
商汤的研究课题包括:如何用一套架构支持各式各样的计算设备,如何将算法的前处理和后处理囊括在部署流程中,如何在可编程设备上达到极致的计算性能等等。
怎么研究部署系统
研究模型部署最好的范本绝对是DL框架的老祖宗:caffe。几乎所有的部署系统都深受caffe的影响。caffe提供了一个非常简单的基于net to layer的范式,很好的建模了至少是CNN模型的运行环境。下图展示一个caffe的架构示意图:
![](https://pic4.zhimg.com/v2-b8f727dca0afd8d857267d0ab5bb5ba3_b.jpg)
caffe是一个非常简单的执行引擎,在不考虑训练的情况下。最大单位为Net,在Net之上定义了一个Layer Vector,通过从0到n遍历layer,调用layer.forward,即可完成一次前馈。caffe有一些设计被其他框架大量的借鉴,比如基于layer的注册器机制、基于blob的内存管理等等。来自腾讯的ncnn/featherCNN都是基于caffe架构演进过来的(都继承了一些特性,修复了一些问题)。
但caffe的缺点同时也十分明显,给大家留下了非常非常多优化空间,可以说修复这些缺点养活了国内大量的深度学习工程师:
- cuda default stream:caffe里没有进行cuda kernel stream的管理,使得同一张显卡跑两个caffe部署任务效率急剧下降。
- Dtype:caffe里创建网络的数值类型是通过模板参数传入了,由于深度学习的低精度、低比特并不仅仅是改变编程语言里的数值类型这么简单,导致至少在很长一段时间里,caffe甚至都极难支持fp16部署。
- protobuf:caffe极度依赖一个中心化的protobuf定义,这带来了几个问题,一是protobuf的代码size不小,在极端追求库体积情况下成为累赘。另一个是中心化的protobuf使得注册一个新的layer及其不模块化,很容易造成版本冲突。
- blob in layer:caffe的设计中,卷积的weight是隐藏在layer的参数中的,这样的设计明显不如将卷积的weight作为第二个/第三个常量tensor输入来的简洁和一致。
- heavey runtime:caffe没有解耦 模型结构定义 与 layer kernel实现 两者,使得caffe和protobuf格式深深的绑定在了一起。在深度学习不断发展,硬件不断变多,网络格式日新月异的同时,all-in-one-runtime的方式制约了许多新feature的引入和更深的优化。compiler-runtime分离的方式被验证是一种更合理的方案。
尽管如此,caffe依然是一个非常伟大的框架,任何在校生只要能把caffe吃透,对于其对深度学习的理解,大规模c++项目的认知将会上一个台阶。
什么是深度学习芯片
深度学习芯片是一个并未界定严谨的概念。
狭义上,深度学习芯片指“针对深度学习设计的,可高效执行深度学习算法的芯片”,一般指ASIC和FPGA。其叫法五花八门,根据不同厂商的风格,有不同的特定称呼,如DPU,NPU,TPU等等。
从广义上,DSP、CPU和GPU也可以称之为深度学习芯片,因为深度学习算法也可以极其高效的运行在这些设备上面:DSP往往拥有超长的指令集(VLIW),提供位宽特别大,峰值算力不错的SIMD(单指令多数据流)指令支持。CPU中的ARM/X86同样也为深度学习应用提供了长度128~256~512不等的fp32/fp16/int8计算。至于GPU,深度学习扛把子Nvidia的GPU就不同提了,移动端的GPU同样提供丰富的矩阵算力,以fp16为主要支持的精度。
Hi3559A 提供了4种不同类型的深度学习执行方案
以最为典型的海思家族的Hi3559A SOC为例,就集结了四种典型的处理器类型。神奇的是,这四种处理器都可以执行深度学习模型,是不是很吃惊?所以如果听到有人说“我这个算法可以跑在3559A”上,那你可得问清楚了是跑在哪个处理器,因为四种处理器的编程难度、算力可不相同。
芯片 | 算力 | 编程方法级别 |
---|---|---|
ARM A73/A53 | 28.8 + 19.2 Gops(fp32) | ARM neon:vmla |
Mali G71 | 约 22.16 Gops (fp16) | opencl 1.1/1.2/2.0 |
DSP:4 x cadence vp6 | 4 x 350 Gops (int8) | VP6 VLIW instruction |
NPU:2 x nnie11 | 2 x 1.7 Tops (int8) | HI_MPI_SVP_NNIE API |
部署框架如何支持一款新的深度学习硬件
我们可以找到非常方便的部署软件库:
- ARM:市面上支持arm上部署神经网络的库很多:ncnn,tnn,mnn,tengine,featherCNN,tvm
- DSP:tensilica官方提供运行库XNNC(Xtensa Neural Network Compiler)看文档有点麻烦,但跑起来应该没问题。就是需要封装到HI_SVP的DSP RPC接口中。
- NNIE:nnie的文档十分完善,mapper一下直接量化部署全搞定!
“针对每个平台单独转换,执行的话,以后换新算法、新模型咋办?以后如果又来一个新平台,你是不是还得再写一遍代码。”
——思考一种软件架构,可以灵活的接入不同的新硬件,并且快速适配新模型:
定义一个标准接口(或者说基类),然后针对每个平台写一个适配(子类)。实操上,可以使用工厂模式或者动态库加载的方式,注册到环境中。这样就可以不用改动上层的前处理和后处理封装,将神经网络的执行过程完全隐藏在标准接口内了。几个基础函数如下:
1 nn_handle * NN_Init(char * model_file); // 通过模型文件创建句柄 2 void NN_Prepare(nn_handle * hdl); // 执行一的内存空间申请等事项 3 nn_tensor * NN_GetTensor(nn_handle * hdl, char * tensor_name); // 获取输入输出Tensor 用于取数据(或者塞数据) 4 void NN_SetTensor(nn_handle * hdl, char * tensor_name, nn_tensor * tensor); // 将数据送回网络(一般是输入) 5 void NN_Forward(nn_handle * hdl): // 数据准备完毕,开始推理 6 void NN_Destroy(nn_handle * hdl); // 模型执行结束,销毁句柄
一个简单版本的多平台模型部署框架
除此之外,我们还发现另外一堆严重的问题:
- DSP和NNIE都只支持量化INT8/INT32数据输入/输出,之前Caffe和NCNN则都是fp32。数据类型无法统一。
- NNIE不支持在运行时使用caffe模型进行初始化,需要转换到专用格式,这种格式只能在x86上进行。
- DSP的模型已经直接编译成二进制固件了,需要非常复杂的DSP重启操作才能使用。
- 刨掉Shufflenet不说,NNIE和DSP在Resnet18上因为将数值转化成了INT8,都出现了不同程度的掉精度。
Reference
部署:深度学习落地的最后“N”公里