深圳佑驾周翔：MINIEYE智能驾驶背后的硬核技术

4月8日，由工业与信息化部、深圳市人民政府主办，中国交通通信信息中心、车载信息服务产业联盟、中国卫星应用产业联盟协办，中国电子器材有限公司承办，深圳市智慧交通产业促进会、海王文化执行的2019中国道路运输信息化暨汽车主动安全高峰论坛在深圳会展中心成功召开。深圳佑驾创新科技有限公司联合创始人副总经理周翔发表了《MINIEYE智能驾驶背后的硬核技术》的主旨演讲，本文为演讲速记整理，未经演讲者本人审核。    

深圳佑驾创新科技有限公司联合创始人副总经理 周翔

 周翔：感谢各位嘉宾，各位领导，让佑驾有机会跟大家分享MINIEYE智能驾驶或者是主动安全技术背后的一些硬核。

首先简单的介绍一下MINIEYE。MINIEYE成立于2012年，目前经历了四轮融资，总部在深圳，在湖北、重庆、南京、北京都设有分公司、研发中心和相应的交通公司。

一、技术综述

1、复杂场景下的视觉感知技术

在复杂场景下的视觉感知技术，这是驾驶员智能驾舱的应用，我们加入了事件检测功能。

2、算法

ISP图像调教算法

在刚刚演示的这么多自动驾驶场景里面，MINIEYE真正硬核实力是什么？第一个是算法，车辆运行过程中会经历各种各样的运输环境，如何在有限算力、低功耗、车规级条件下去设计算法？这是MINIEYE第一个技术硬核。在这个硬核里面，首先是MINIEYE自研的ISP，也就是图像调教算法。算法不是说把三维数字直接灌入到算法就开始用，在应用初期，要对最初始图像算子编码进行设计。下图可以看到MINIEYE在隧道场景下的表现，可以看到前方车辆局部的细节是很清晰的，在上方的录影灯并没有产生眩光，在车辆线上并没有产生映射。

CNN目标检测算法

CNN目标检测算法，不管是在恶劣的雪地还是在向阳的情况下，都可以很好地检测到车辆目标。

    Mini-Tracker目标跟踪算法

Mini-Tracker目标跟踪算法，不管是在雾天还是雨天，都可以做得很好。

基于CNN图像分割的车道线算法

图像分割车道线，像下图场景中，车道线是很难检测的。因为图象处理跟人的眼睛处理是一个道理，只有眼睛先看得清楚，才能检测清楚。上方最左侧和第二排的左侧，这两条线，可以看到车灯、光线对检测影响是很大的。基于图像分割可以把这样的极端场景进行分割处理，图像依然检测的很好。在图像的最右侧，这时候人的眼睛已经很难看出、很难辨别车道线，雨天人是很难看得见车道的，通过ISP技术设备可以看得很清楚，做车道线的识别、跟踪都能做得很优秀。

    图像与IMU融合算法

除了图像之外，MINIEYE还做图像与IMU融合算法，当我们判断一个车辆是不是压线的时候，判断逻辑是对车道线进行压线还是对车道线的边缘压线，这有一个很大的误区，在实际检测过程中根据国家标准，在车道线左右有一个缓冲区是不属于压线可以报警的区域。在实际场景下，商用车本身车辆就很宽，如果车道线，如何判断压线？如果驾驶员犯了困，车速是120，就应该检测，我们有专门的调校，利用车身状态算法，当车速很快，即便轮胎还没有压到线，就应该报警。这一类算法也是MINIEYE一个核心的技术。

    3、ThiNet 神经网络压缩架构

这些核心的技术在更底层，MINIEYE提出了网络“三剑客”解决这样的问题。第一个是ThiNet，我们不可能让一个深度学习网络在芯片里跑起来，我们要做的第一个工作是对神经网络进行压缩。MINIEYE的技术是公开的，我们在国际计算视觉大会ICCV2017上发表了成果，被MIT、UCLA、Bosch、Deepmind、Adobe等研究机构引用。算法可以在一定程度上平均做到1.8倍压缩，在优秀的场景可做到3.23倍加速。

4、FastNet 嵌入式神经网络加速库

这是的FastNet，MINIEYE的技术做过统计，在计算的时候，可以达到3倍加速。

这是统计的对比，除了Caffe，我们还跟腾讯对比，各种数据都可以体现MINIEYE技术的优越性和超越性。

    5、HardNet 神经网络IP

如何让算法跑起来？我们称之为HardNet，这块做了一些应用，让它可以在芯片上得到应用。

这是应用的一个性能对比。

二、数据

我们利用数据，完成了更低成本、更高效率地获取“Corner Cases”。

数据是去年10月份统计，经历了54个月，积累了大约1600万公里的里程数据。根据中国地形的划分，华南、华东、海边城市、山丘城市、丘陵城市，做了一系列算法的优化和迭代。

DDT标志系统

拿了这么多数据回来，如何对数据进行重组和优化？MINIEYE针对数据的优化，专门性的研发出了DDT标志系统，是一个自动化的标注。可以看到，我们首先做pre-trained models，再做Deep Descriptor Transforming，这是MINIEYE底层技术的优势。

三、传感器

最后是传感器融合，目前不仅做了智能视频，还引入了毫米波雷达做了一个融合检测，应对雾霾等更多场景。

每个MINIEYE的摄像头里面都有一个IMU，精度提升50%以上。

四、产品落地

MINIEYE的后装产品、前装产品都进行了大范围落地，像比亚迪的大巴、东风都用了MINIEYE的产品。

目前京东物流体系1600多个城市的物流车辆全面标配了MINIEYE的产品。

MINIEYE在江苏省为1万辆“两客一危”车辆提供设备升级工作，产品性能已经被证明可靠过硬。

前装的案例，比亚迪、东风、KUS，以及通用、摩托罗拉等都有合作，都有量产落地。

    谢谢！