NVIDIA TensorRT：可编程推理加速器
一．概述
NVIDIA TensorRT™是一个用于高性能深度学习推理的SDK。它包括一个深度学习推理优化器和运行时间，为深度学习推理应用程序提供低延迟和高吞吐量。
在推理过程中，基于TensorRT的应用程序执行速度比仅限CPU的平台快40倍。使用TensorRT，可以优化在所有主要框架中训练的神经网络模型，以高精度校准较低精度，最后部署到高规模数据中心、嵌入式或汽车产品平台。
TensorRT建立在NVIDIA的并行编程模型CUDA的基础上，使能够利用CUDA-X中的库、开发工具和技术，为人工智能、自动化机器、高性能计算和图形优化所有深度学习框架的推理。 TensorRT为深度学习推理应用程序（如视频流、语音识别、推荐和自然语言处理）的生产部署提供INT8和FP16优化。减少的精确推理显著减少了应用程序延迟，这是许多实时服务、自动和嵌入式应用程序的要求。
可以将每个深度学习框架中经过训练的模型导入TensorRT。在应用优化后，TensorRT选择特定于平台的内核，以在数据中心的Tesla gpu、Jetson嵌入式平台和NVIDIA驱动自主驾驶平台上实现性能最大化。
使用TensorRT，开发人员可以专注于创建新的人工智能应用程序，而不是为推理部署进行性能调整。
二．tensorRT开源代码
链接地址：https://github.com/NVIDIA/TensorRT
TensorRT Open Source Software
此存储库包含NVIDIA TensorRT的开源软件（OSS）组件。包括TensorRT插件和解析器（Caffe和ONNX）的源代码，以及演示TensorRT平台的使用和功能的示例应用程序。
Prerequisites
要构建TensorRT OSS组件，请确保满足以下包要求：
System Packages
- CUDA
- GNU Make >= v4.1
- CMake >= v3.13
- Python
- PIP >= v19.0
- Essential libraries and utilities
- Jetson平台的交叉编译需要安装JetPack的主机组件
- Git, pkg-config, Wget, Zlib
- JetPack >= 4.2
Optional Packages
- Containerized builds
- Code formatting tools
- Docker >= 1.12
- NVIDIA Docker >= 2.0
TensorRT Release
- TensorRT v7.0
注意：除了TensorRT OSS组件外，还将下载以下源包，不需要在系统上安装。
ONNX-TensorRT v7.0
三．Availability
TensorRT可从TensorRT产品页免费向NVIDIA开发人员程序的成员提供，以进行开发和部署。最新版本的插件、解析器和示例也可以从TensorRT github存储库中以开源方式获得。开发人员还可以从NGC容器注册中心在TensorRT容器中获取TensorRT。TensorRT包括在：
NVIDIA Deepstream SDK，用于计算机视觉和智能视频分析（IVA）应用程序中的实时流分析。
NVIDIA DRIVE用于NVIDIA DRIVE PX2自主驾驶平台的安装。
NVIDIA Jetpack for Jetson TX1、TX2嵌入式平台。