针对深度学习(神经网络)的AI框架调研
在我们的AI安全引擎中未来会使用深度学习(神经网络),后续将引入AI芯片,因此重点看了下业界AI芯片厂商和对应芯片的AI框架,包括Intel(MKL CPU)、谷歌(TPU)、NVidia(GPU)、华为和寒武纪,发现所有的AI芯片都支持TensorFlow框架。
从收集到的信息来看:
1、目前TensorFlow在智能边缘计算中是主流,例如TensorFlow提供了移动端应用开发API,参考资料中包含了示例。
2、AI芯片对深度学习的加速效果,其中NVIDIA官方例子加速18倍,Intel MKL为26-72倍。
3、所有的AI芯片都使用TensorFlow框架,华为和寒武纪的AI芯片还支持其他AI框架模型,比如facebook的caffe2、亚马逊的MxNet。
4、AI芯片最初只支持模型推理(用训练好的模型做预测)而不能做训练,但Intel和谷歌的TPU目前既能推理又能训练 。
5、其他AI框架,如亚马逊的MxNet通过自己的云服务提供GPU处理,微软的CNTK亦如此。
参考资料:
https://www.leiphone.com/news/201712/q7TOPUfPdFWFr6O3.html 深度 | AI芯片之智能边缘计算的崛起
http://www.cnblogs.com/bonelee/p/8317909.html 深度学习利器:TensorFlow在智能终端中的应用——智能边缘计算,云端生成模型给移动端下载,然后用该模型进行预测
https://developer.nvidia.com/tensorrt 基于NVIDIA自己的AI芯片,比原生的TensorFlow快18倍
https://software.intel.com/zh-cn/articles/build-and-install-tensorflow-on-intel-architecture?language=en 在英特尔架构上构建和安装 TensorFlow
https://software.intel.com/zh-cn/articles/tensorflow-optimizations-on-modern-intel-architecture 现代英特尔架构上的 TensorFlow优化,内含英特尔至强处理器(22 个内核)和英特尔至强融核处理器(68 个内核)上优化后TensorFlow性能对比结果
http://nooverfit.com/wp/tensorflow%E5%A6%82%E4%BD%95%E5%85%85%E5%88%86%E4%BD%BF%E7%94%A8%E6%89%80%E6%9C%89cpu%E6%A0%B8%E6%95%B0%EF%BC%8C%E6%8F%90%E9%AB%98tensorflow%E7%9A%84cpu%E4%BD%BF%E7%94%A8%E7%8E%87%EF%BC%8C%E4%BB%A5/ TensorFlow如何充分使用所有CPU核数,提高TensorFlow的CPU使用率,以及把Intel的MKL包编译进TensorFlow中,利用Intel的MKL CPU加速
http://www.cnbeta.com/articles/tech/613639.htm Google第二代TPU 既能推理又能训练