干货最多的Apollo Day：从高精地图、芯片到大模型一次讲透( 二 ) 作者/华卫今天

文章图片
因此，百度选择融合车端感知数据和多源地图实时生成在线地图，推出了Apollo自动驾驶地图，强调其是「知识增强、分层多维、为自动驾驶而生的新一代地图」，并结合人类司机的驾驶经验构建出全路网级别的驾驶知识图谱，通过车路协同和交通大脑来应对复杂交通状况。
现场，百度还播放了一段萝卜快跑使用Apollo自动驾驶地图在实际道路行驶的视频，在遇到连续路口转弯时，百度RoboTaxi在左拐之后直接就转到最右车道，路口通过体验较为流畅。不过，评论区也有人吐槽：「这样开车自己舒服了，但有点不讲道理啊」，还有人质疑这样「是否违章」。

文章图片
此外，百度Apollo还联合百度地图推出了城市车道级导航、车位级导航、智能红绿灯等自动驾驶级导航产品功能，用户有机会体验到与自动驾驶同款的安全出行体验。
文心大模型落地自动驾驶
大模型技术是自动驾驶行业近年的热议趋势，但能否落地应用、能否用好是关键难题。百度自动驾驶技术专家王井东称，多传感器融合是实现L4的必要条件，其中远视距视觉3D感知、激光雷达传感器升级、长尾数据挖掘是自动驾驶在感知方面的三大挑战，而百度提出的文心大模型有能力解决以上的问题。
首先，百度利用文心大模型的自动驾驶感知技术来提升车载小模型的感知能力。得益于文心大模型-自动驾驶感知模型10亿以上参数规模，通过大模型训练小模型，百度自动驾驶感知泛化能力显著增强。

文章图片
文心大模型-自动驾驶感知模型的训练方案是，采用迭代的自训练方案来充分利用有2D标注和没有3D标注的数据。首先在既有2D又有3D标注的数据上，训练出一个感知大模型，然后给那些没有3D标注的数据打上3D伪标注，再继续训练一个感知大模型，如此迭代，逐步提升感知大模型和3D尾标注的效果。
王井东介绍，他们将这样的感知大模型用于远视距视觉3D感知、点云感知、多模态端到端感知三方面上。

文章图片
其次，在数据方面，百度利用文心大模型的图文弱监督预训练模型，来挖掘自动驾驶场景中的长尾数据，背靠文心图文大模型数千种物体识别能力，其大幅扩充了自动驾驶语义识别数据，如特殊车辆（消防车、救护车）识别、塑料袋等。
「高提纯、高消化」的自动驾驶数据闭环
随着自动驾驶的规模化落地，在城市道路中行驶的无人驾驶车会不断遇到新问题和意想不到的新场景。自动驾驶需要持续学习，而数据闭环是其实现持续学习能力的重要基础架构。
面对大规模数据随之带来的存储、标注以及计算量压力，百度Apollo提出了「高提纯、高消化」的数据闭环设计思路。
【干货最多的Apollo Day：从高精地图、芯片到大模型一次讲透】据介绍，该方案的数据提纯路径利用车端小模型和云端大模型，实现高效率数据挖掘和自动化标注。百度自动驾驶技术专家李昂表示，数据规模不是唯一标准，数据纯度也是重要考量；数据纯度即为单位数据的信息量，数据挖掘与标注是提高数据纯度的两个手段。百度正是根据这样的思路，设计了自动驾驶的数据提纯通路。