zoukankan      html  css  js  c++  java
  • TVM vs TensorRT比较

    TVM vs TensorRT比较

    如果理解正确的话,TensorRT和TVM会加快预测速度。             

    TensorRT优化预测GPU和TVM优化预测几乎所有平台支持GPU,ARM,Mobile。。。             

    两者在GPU上有比较吗?             

    到目前为止,tvm还没有为TensorRT优化的int8进行优化。但在这方面还有一些工作要做,所以答案是目前TensorRT速度更快,我们正在不断改进TVM,以涵盖TensorRT在所有平台上使用的优化。

    在Pytorch中训练了一个Yolov3模型,并将其转换为onnx文件,以便与TensorRT一起运行。注意到Pythorch模型和TensorRT模型之间的一些性能不同的情况,想知道TensorRT与TVM等其他编译器相比有哪些优缺点?             

    卷积:TensorRT为fp32和int8卷积实现了许多算法,tvm只实现了direct和winograd卷积,在服务器上找到快速的conv卷积配置需要将近1天的时间。             

    反卷积:TensorRT完全支持,TVM的deconv不支持group,不支持int8。             

    量化:TensorRT有完整的训练后量化支持,开源TVM量化不完整。             

    TVM优点:             

    开源。             

    在服务器上进行了1天的调优之后,调优后的模型可能比tensorrt快一点。             

    TensorRT缺点:             

    还有一些bug。             

    不熟悉其它编译器。

    人工智能芯片与自动驾驶
  • 相关阅读:
    VS2010中添加MVC3和MVC4
    C#--对象转成XML的方法
    Web优化的措施
    Socket的使用(简单测试)
    WCF、WebAPI、WCFREST、WebService之间的区别
    Java和C#(笔记)
    各种窗口最小化快捷键详解
    SASS的安装及使用(前提:安装Ruby)
    查看Linux是32位还是64位
    log4j输出日志到文件
  • 原文地址:https://www.cnblogs.com/wujianming-110117/p/14121465.html
Copyright © 2011-2022 走看看