通过传感器计算打造视觉雷达，下一代自动驾驶系统的关键构成( 二 ) 机器之心专栏作者：鉴智机器

1.1从手机ISP到车载ISP
ISP（ImageSignalProcessor）是指通过一系列数字图像处理算法完成对数字图像的成像处理。在摄像机成像的整个环节中， ISP负责接收感光元件的原始信号数据，可以理解为整个摄像机图像输出的第一步处理流程。 ISP在提高图像质量、增强数据的一致性等方面有着极其关键的作用。
得益于智能手机的发展和手机摄像头像素越来越高，手机ISP在过去几年得到了快速的发展和进步，手机拍照和录像的质量也越来越高，甚至到了惊艳的地步。比如在夜晚等场景，可以拍到比人眼看到的更清晰、光照更充足、色彩更丰富的照片；比如在进出隧道等光照变化剧烈的场景，也可以录制出比人眼表现更稳定、更清晰的视频。这些效果除了源于手机摄像头硬件上的升级，专门的AIISP处理算法和处理芯片也起到了至关重要的作用。
随着自动驾驶对车载成像质量的阶跃式提升需求，车载ISP ，特别是针对驾驶场景优化的AIISP处理算法和处理芯片，将迎来爆发式的发展。 AI在车载ISP整个流程中将变得越来越重要，特别是在降噪、去模糊、HDR等问题上，可以在夜晚、阳光直射、进出隧道等暗光、强光、高动态场景得到远超人眼的成像效果，同时最大程度上解决由Sensor引起的噪点、模糊等问题。将AI计算前置在ISP计算Pipeline中，通过流式计算，使得ISP的计算Pipeline不被打断，也将大大提升AIISP的性能功耗比。
鉴智机器人拥有全链路的芯片级ISPIP的设计能力，将解决ISP特别是AIISP在车载场景的核心问题，让车载摄像头成像更清晰，从而进一步提高视觉雷达点云生成和图像语义感知等后续任务的准确性。

文章图片
图1：鉴智机器人拥有全链路的ISP算法和算法硬核化设计能力
1.2从2D感知到视觉雷达
面对大规模自动驾驶，对3D点云的信息稠密程度、场景泛化性、性能可扩展性方面提出了更高的要求。基于视觉雷达，通过双目或者多目立体视觉计算，产生实时稠密的3D点云是更优的方式。
双目立体视觉是机器视觉的一种重要形式，与人眼类似，它是基于视差原理，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，和基于TOF、结构光原理的深度相机不同，它不对外主动投射光源，完全依靠拍摄的两张图片（彩色RGB或者灰度图）来计算深度。
传统的双目立体匹配算法针对弱纹理、反光等区域效果比较差，同时对于物体语义信息利用比较少，算法适用范围具有局限性，点云效果上限比较明显。随着深度学习技术的发展，基于CNN、CostVolume、Transformer的立体匹配算法展现出来了极强的算法效果和潜力。目前知名自动驾驶数据集KITTI上的立体匹配任务排名靠前的基本都是基于深度学习的算法。基于深度学习的双目立体匹配算法对于计算芯片的AI算力提出了比较高的要求，对于研发模式也提出了新的要求，需要从传统的双目相机研发模式变成以AI为核心、软硬结合、数据驱动的研发模式。
从双目立体视觉更进一步，充分利用相机的运动信息和多个相机间的几何约束，通过相机姿态估计、深度估计、光流估计、MVS等算法，以及任务之间互相监督的一系列自监督算法，可以得到360度的点云数据，也就是视觉雷达，从而形成与图像分辨率相匹配的稠密点云。同时，以摄像头+算力+算法为核心的视觉雷达，还具有产业链成熟可控、成本可控、器件稳定性有保证、满足车规等优势，更容易实现大规模前装量产上车使用。