zoukankan      html  css  js  c++  java
  • TVM vs TensorRT比较

    TVM vs TensorRT比较

    如果理解正确的话,TensorRT和TVM会加快预测速度。             

    TensorRT优化预测GPU和TVM优化预测几乎所有平台支持GPU,ARM,Mobile。。。             

    两者在GPU上有比较吗?             

    到目前为止,tvm还没有为TensorRT优化的int8进行优化。但在这方面还有一些工作要做,所以答案是目前TensorRT速度更快,我们正在不断改进TVM,以涵盖TensorRT在所有平台上使用的优化。

    在Pytorch中训练了一个Yolov3模型,并将其转换为onnx文件,以便与TensorRT一起运行。注意到Pythorch模型和TensorRT模型之间的一些性能不同的情况,想知道TensorRT与TVM等其他编译器相比有哪些优缺点?             

    卷积:TensorRT为fp32和int8卷积实现了许多算法,tvm只实现了direct和winograd卷积,在服务器上找到快速的conv卷积配置需要将近1天的时间。             

    反卷积:TensorRT完全支持,TVM的deconv不支持group,不支持int8。             

    量化:TensorRT有完整的训练后量化支持,开源TVM量化不完整。             

    TVM优点:             

    开源。             

    在服务器上进行了1天的调优之后,调优后的模型可能比tensorrt快一点。             

    TensorRT缺点:             

    还有一些bug。             

    不熟悉其它编译器。

    人工智能芯片与自动驾驶
  • 相关阅读:
    PAT B1027 打印沙漏 (20 分)
    PAT B1025 反转链表 (25 分)
    PAT B1022 D进制的A+B (20 分)
    PAT B1018 锤子剪刀布 (20 分)
    PAT B1017 A除以B (20 分)
    PAT B1015 德才论 (25 分)
    PAT B1013 数素数 (20 分)
    PAT B1010 一元多项式求导 (25 分)
    HDU 1405 The Last Practice
    HDU 1165 Eddy's research II
  • 原文地址:https://www.cnblogs.com/wujianming-110117/p/14121465.html
Copyright © 2011-2022 走看看