5G|百度最新无人车技术低调发布！6位大牛，人均至少T11( 四 ) 中国联通|5g通信

感知1.0的百度经过了三个阶段：第一阶段主要依赖激光雷达点云感知，辅助红绿灯的识别，同时利用了毫米波目标阵列；第二阶段增加了环视图像的感知，与激光雷达点云感知形成两层感知融合，提升了识别效果；第三阶段，自研了毫米波点云感知算法，形成了三层感知的融合。

这些多模感知实际上用的是后融合方案，它通常需要规则的方法，是不可学习的，因此相对来说泛化能力不够。
感知2.0主要部分是多模态前融合端到端的方案，在点云和图像的表征层次上进行融合。与此同时，远视距的视觉感知，通常在200米以上视觉的感知效果相对比较好；近距离采用了鱼眼感知，从鱼眼感知实现了freespace的预测。
感知环境，需要丰富和高质量的数据，基于此，百度感知2.0还利用大模型进行数据挖掘和数据的自动标注。

而在自动驾驶感知里往往会遇到一些挑战。一是远距离的视觉感知问题；二是在点云空间去做3D的标注非常困难；三是长尾数据挖掘问题，包括少见的车型、各种形态、各种姿态行人，以及低矮物体、交通、施工元素等。
如何解决上述三种挑战？百度的方法是利用大模型技术，来提升自动驾驶感知能力。
首先利用文心大模型自动驾驶感知的技术，来提升车载小模型的感知能力。同时在数据方面，利用了文心大模型图像弱监督预训练模型来挖掘长尾数据，提升模型训练效果。
在自动驾驶感知模型训练方面，百度采用的是半监督方法，充分利用2D标注和没有3D标注数据。

具体方法是采用迭代的自训练方案。首先在既有2D又有3D的训练数据上，去训练一个感知大模型出来，然后给没有3D标注数据打上3D伪标注。再继续训练一个感知大模型出来，如此迭代，逐步把感知大模型效果提升，同时也使得3D的尾标注的效果越来越好。
上述感知大模型不仅用于视觉，也用于点云，也用于多模态端到端方案。
大模型已经成为自动驾驶能力提升的核心驱动力。
Apollo数据闭环百度自动驾驶专家李昂，分享了百度Apollo在数据闭环方面的思考。
随着自动驾驶的规模化落地，在城市道路中行驶的无人驾驶车会不断遇到新问题和意想不到的新场景。自动驾驶需要持续学习，而数据闭环是其实现持续学习能力的重要基础架构。
面对大规模数据随之带来的存储、标注以及计算量压力，百度Apollo提出了「高提纯、高消化」的数据闭环设计思路。数据提纯路径利用车端小模型和云端大模型，实现高效率数据挖掘和自动化标注。

数据规模不是唯一标准，数据纯度也是重要考量；数据纯度即为单位数据的信息量，数据挖掘与标注是提高数据纯度的两个手段。百度正是根据这样的思路，设计了自动驾驶的数据提纯通路。
而且，百度Apollo发现，数据提纯效率很大程度由推理引擎的效率决定，而推理引擎效率又可以分为数据读取速度以及模型的推理和计算速度，后者可以通过分布式方式来提升。

为此， Apollo与百度飞桨团队合作，将百度自研的PaddleFlow数据缓存的基础架构集成引入数据闭环平台，使推理引擎的数据读取效率获得10倍以上的提升。
此外，全量数据回传无法支撑规模化，数据提纯的呈现方式实际上是云端到车端模型和策略的双重降维。
获取高纯度的数据后，另一个重要的问题就是如何高效率、高质量地消化这些数据，将其转化为车辆的自动驾驶能力。数据分布不断变化、多个模块相互关联、自动化效率，是无人驾驶系统的复杂性给数据消化带来的三个挑战。