zoukankan      html  css  js  c++  java
  • 基于FPGA的CNN算法移植(四)地平线等公司的 ADAS 产品

                这是一篇对地平线公司产品的猜想博文,本人对地平线充满了无限的仰望和崇拜,绝无冒犯之意。因为对AI芯片设计公司感兴趣所以才分析。为何不分析别家呢? 因为4月在深圳会展中心的电子信息博览会地平线过来了。商汤,寒武纪,深鉴都没有来参展。  地平线产品:

                征程 1.0 只支持一路1080p30fps,而且有检测距离限制。识别200个目标
                征程2.0上可以最多支持8路1080p 30fps实时处理而且加入了交通标志牌识别,路况识别

                征程1.0 在展会上是一个不通电的样机,销售说1.0效果不怎么好,让我看2.0的效果。 而2.0 是一个用altera A10 挂载7个DDR3做成的demo。

        先看他们的效果图

            先分析征程 1.0 :很明显,地平线2015年7月成立,2018年2月初发布征程1.0,从IC研发周期看,这个IC 研发速度还是非常快的。当时是为了尽快融资他们将识别算法迅速用硬件实现,所以还有一些算法残留影子 —— 识别200个目标(谁不知道ADAS只需要识别几个目标就可以了,所以2.0版本上就把这个从算法上拿掉了,精简了算法)。“行人检测可达60m”手册上这句话,个人理解暴露出他们的算法把图像压缩了,压缩之后的图像对小物体检测出现了丢失现象(2.0版本没有这个限制)。目前1.0 主要用在自动泊车

            再分析征程 2.0 ,手册上着重强调了他们采用了新型稀疏二值化神经网络,算法上拥有像素级视频语义分割(都到像素级了,所以图像应该没有进行缩小,所以也就没有了1.0中的检测距离限制。分割之后图像中的空白区,蓝天,建筑物都不需要参加运算的吧。),深度评估等功能(这个是用来分析车辆行人下一个动作,至于效果谁知道呢)。

    以上是对地平线产品的猜想,如果有不对的地方欢迎大家批评指正。

     。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    。。。。。。。。。。。。。。。。。。。。。。。。。。。。 。     朴实的分割线     。。。  。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

            再看看其他公司是怎么实现这种检测的,看看百度,这是百度Apollo 2 在新浪上的视频截图 ,对啊,道路旁边的建筑物,树木都去哪里了 ?

             最后看看谷歌的 waymo 第二代在腾讯上的视频截图

             谷歌的稍微好点。右下方还有一个真实视频显示。主车就是视频中间那个绿色的框框。注意看绿色框框前面有一个小的红色框框。看左下方真实视频里面的右边一点点,里面有一个男生骑着自行车,那个红色框框就是他。

     。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

             国内有太多的公司想做ADAS,展会上随便就可以找出上10家来,可是除了地平线在展会上展示的效果(FPGA demo)不错之外,其他公司应该跑的是GPU上的demo。

            理论上CNN 算法移植的FPGA里面可以实现加速,可是实际上CNN 对内存读写数据量太大,GPU 有HBM 技术支持,GTX 1080 对自己内存读写速度就可以达到10G 以上,高端的就更快了。CNN 移植到FPGA,在实验室里可以放个小图像进去跑几层看看效果。真正要实现产品化,图像至少来个720p的,卷积一不小心就是几十层,最终要放到硬件里 难度还是很大的,这个难度主要不在FPGA工程师那里,这个原因我在 这个系列的第一篇 基于FPGA的CNN算法移植(一)概述  里就说的很清楚了。能对CNN ,RNN 能进行优化的算法工程师实在是太少了。深鉴可不可以学习一下吴恩达,把自己变成一个算法优化的培训机构呢? 哈哈哈,玩笑了。

            小公司做这个ADAS项目,那就是个巨坑。FPGA工程师们,共勉吧。

    。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    由 地平线的产品效果,到百度的产品效果,再到谷歌的产品效果,大家有没有什么启发呢?

     。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

    作者:清霜一梦

    欢迎加入: FPGA广东交流群:162664354

    。。。。。。。。。。。。。。。。。。。。

    。。。。。。。。。。。。。。。。。。。。

  • 相关阅读:
    RF(常用关键字)
    RF(元素定位)
    HR系列GPS北斗时间同步服务器在电力系统典型应用
    基于GPS北斗卫星授时系统和NTP网络授时服务器的设计与开发
    北斗卫星同步时钟(NTP网络时钟服务器)成功投运世界级工程港珠澳大桥
    网络时钟服务器,NTP授时设备,北斗网络校时服务器,GPS时间同步器
    SAP SD基础知识之交货单不完全日志
    SAP SD基础知识之创建并处理外向交货单
    SAP SD基础知识之订单中装运相关的功能 II
    SAP SD基础知识之输出控制(Output Control)
  • 原文地址:https://www.cnblogs.com/sepeng/p/8806244.html
Copyright © 2011-2022 走看看