b、自训练，这是百度选择的方法，可以同时使用有标签和无标签的数据来学习。具体来说，先使用有标签数据对模型进行初始启动训练，然后将模型在无标签数据上进行推理得到伪标签，最后合并有标签数据和伪标签数据对模型进行进一步训练。如此往复，进行多轮迭代。
在训练完感知大模型以后，百度利用知识蒸馏的方法将伪标签用于车载小模型的学习，从而增强车载小模型的远距离感知能力。
百度选择自训练的原因，我相信是在实际使用中，这种自训练的范式能得到更好的下游任务表现。在一些论文里，我们也能找到这方面的证据，感兴趣的同学可以阅读论文Rethinking pre-training and self-training[3]获取更多细节。
▲图文大模型用于长尾数据挖掘
2、“文心大模型-图文弱监督预训练模型”。
前一个感知大模型的用处主要是提高3D感知能力，而这个图文大模型主要用来在云端做长尾数据挖掘，关注语义层面的理解能力。图文弱监督大模型包含一个文本编码器和一个图像编码器，在海量的（2D图片，文字）对上通过对比学习得到，这个方向最经典的研究工作就是CLIP[4]。在训练完图文大模型以后，长尾物体挖掘的流程如下：
a、对于一个庞大的自动驾驶数据集，使用一个高召回率的物体检测器，检测所有可能是物体的框，这里使用的是Group DETR v2[5]；
b、利用图文弱监督大模型训练出来的图像编码器，对每个物体编码，得到物体的特征向量；
c、在挖掘时，可以使用（i）文本进行图像挖掘；（ii）图像进行相似图像的挖掘。下图中展示了许多大模型可以挖掘出的有意思的物体类别，如塑料袋，消防车/救护车，轮椅，动物等等。
D、可以选择性地对挖掘出来的图文对进行筛选，放入训练集进行大模型的进一步提升。
▲数据挖掘效果示例
大模型在AI领域最近有很多研究成果，不少自动驾驶公司也声称在探索。百度Apollo应该是首个公开详细展示技术原理和亮点的自动驾驶团队，这在行业里算是一次重要的尝试。而百度应用大模型的两种思路，显然也会给其他团队提供指引和参考，预计今后在自动驾驶行业中会涌现出更多大模型的研发和应用。
二、高精地图再进化 引入人类驾驶经验
高精度地图是自动驾驶领域的另一个热门话题。百度是同时具有自动驾驶业务和绘图资质的公司，因此是高精度地图的支持者和开发者。在黄际洲讲解的L4地图和王亮讲解的L2+地图中都有提到，百度对于传统高精度地图建图存在的一些核心挑战，提出了一系列的解决方案：
1、高精度地图构建成本高昂怎么解决？用AI技术低成本、高效率自动化生产高精度地图，自动化率达到96%。
2、道路结构发生变化怎么解决？融合车端的实时感知地图和高精地图，输出最终融合后的地图结果，解决地图和现实不一致的问题。
对于当下比较火的无高精度地图（实时地图感知）方案，百度给出了以下对比，并且表示这种低成本、融合的地图方案，可以更好地保证自动驾驶的安全性。
▲无高精度地图方案和Apollo自研的“轻量”高精地图对比
我们注意到另一个有独特的概念是百度提出的驾驶知识图谱。
驾驶知识图谱包含了一些人类驾驶的一些经验性知识，例如出匝道时不应该立刻减速，而应该缓慢减速保证舒适和安全。驾驶知识图谱的构建基于百度地图收集的数亿人类司机驾驶习惯，包括经验速度、变道时机等，从而帮助无人车做到更好的规划控制。
从技术角度来看，有高精地图的加持，会让自动驾驶汽车拥有更好的驾驶表现。同时有自动驾驶和高精地图业务的百度这次在技术上的突破值得关注。
三、PNC融入深度学习 预测决策联合建模
基于学习的规控系统（PNC）是业界大家普遍关注的问题，很多人会开玩笑说，业界的规控代码就是一些if-else的堆砌。其实这样的比喻并不夸张。PNC一般包括了预测、决策、轨迹规划和控制四个部分，预测、决策和轨迹规划都是非常困难的问题。
经典的预测方法是基于地图规则和动力学模型的。过去几年，轨迹预测模块逐渐引入了一系列深度学习的方案如TNT、SceneTransformer，都使得预测能力显著提升。
经典的决策方案会根据场景进行拆分，例如高速、路口、环岛，然后根据每一种场景下的车辆状态进行规则拆分，例如匀速、减速、变道、加塞。这样我们就有了一个复杂的有限状态机，状态机的节点是行为决策，边是状态变化的条件。
如何拆分是每个公司自己积累的“手艺”，如果拆分的好，整个图的结构会比较清晰，如果拆分的不好，往往随着系统更新、策略分叉，变成一个规则补丁系统。更困难的是，随着驾驶城市的扩展，不同城市的同样场景可能有差异，需要不同决策，最终导致决策分叉爆炸，难以维护。
经典的轨迹规划方案通常先根据可行区域进行路径搜索，然后对得到的粗略轨迹进行优化，求解出一条安全和可行的时空轨迹。
百度的学习型PNC方案是将预测和决策两个模块联合建模，然后送入到轨迹规划和控制模块中。具体来说：
1、先提取场景里自车特征，环境车辆的特征，地图的特征，使用一个Scene Transformer来融合特征；
2、输出两个分支，一个分支输出环境车的决策和轨迹；
3、另一个分支输出自车规划的轨迹初始值（trajectory seeds）；
4、将轨迹初始值输入到轨迹规划模块，进行进一步的搜索和优化，得到最终的轨迹。
以上的方案是一个比较端到端的方法，搭建端到端的模型并不是最困难的，更难的问题是，在没有规则约束下（如“红灯停绿灯行”），如何保证模型的输出决策的合理性呢？百度给出的答案是，利用经验系统来初始化决策模型，让模型的表现接近规则系统，然后让模型利用真实数据进行迭代，逐渐超越经验系统。此外，由于轨迹规划模块的存在，仍然可以兜底确保最后轨迹的安全性。