目录

01 多专家分工合作：一个会挑活儿的自动驾驶大脑

02 技术亮点

Perception Adapter：自动加权最关键的语义线索

MoSE 稀疏专家机制：让专家各司其职

超低延迟 + 多任务表现更强

03 实验与表现

04 总结

---

导读

我们为什么还没真正开上“全自动驾驶”的车？

不是因为感知看不清，也不是规划太蠢，而是在关键时刻——模型思路卡住了。

城市道路极为复杂，同一时间需要兼顾识别红绿灯、感知车辆动态、判断能否并线、预判行人意图、保持路线安全……这些任务层层叠叠，如果处理不当，就容易“干扰自己”，最终导致规划发散、决策迟缓甚至误判危险。

更麻烦的是，哪怕你塞进一个大模型，也不一定真能解决这些问题——推理慢、反应迟，可能还不如老司机一秒做出的直觉判断来得靠谱。

那有没有可能，让模型“分工合作”，只激活当下最相关的技能？复旦大学团队提出了一个有趣的方法：ExpertAD，一个基于“专家混合体”（Mixture of Experts, MoE）的自动驾驶新框架。它通过“语义增强+专家调度”双重机制，让每次决策都更专注、更快速、更可靠。

 

01 多专家分工合作：一个会挑活儿的自动驾驶大脑

当下的自动驾驶系统越来越趋向“端到端”，也就是把摄像头输入直接映射为驾驶轨迹。但这类模型常常面临两难：

● 模块融合后更高效，但容易混乱（多个任务互相干扰）；

● 模块分开则更清晰，但速度慢、信息断层。

ExpertAD 选择了一条中间路线：保留原有的整体框架，只改造其中的“感知”和“预测”两个模块。

感知模块：Perception Adapter

这个模块会自动“加权”，突出对当前任务最重要的特征，比如遇到路口时更关注地图语义，遇到人群时更关注动态物体。这就像老司机在高速时自动屏蔽远处广告，只盯着并线车辆。

预测模块：“MoSE”专家调度器

系统内建了8个稀疏专家，分别处理车速、导航、障碍物等任务，每次决策时只挑最合适的几个激活，从而避免互相干扰、加快推理速度——比起让所有专家“群体吵架”，这更像“定向请教三位老司机顾问”。

图1｜ExpertAD 系统架构概览：ExpertAD 在保留原有自动驾驶系统主体结构的基础上，重构感知与预测模块。感知部分引入“任务适配器 PA”，聚焦关键语义；预测部分采用“稀疏专家混合体 MoSE”，智能调度子任务，减少干扰并提升规划质量

02 技术亮点

Perception Adapter：自动加权最关键的语义线索

每个任务（如 tracking、mapping）关注点不同，感知模块需要“动态调整注意力”；PA 模块使用 Learnable Adapter 学习每个任务下应重点关注的语义维度，并通过 Alignment Layer 对特征进行非线性增强；实验表明，调整后的感知特征能显著提升下游预测与规划的准确性，尤其在多目标追踪中提升明显。

MoSE 稀疏专家机制：让专家各司其职

专家被划分为三类：环境感知专家、车辆状态专家、导航规划专家；每个专家都采用定制化的稀疏注意力机制，更高效、更稳定；路由器模块根据当前 ego query 自动决定激活哪几个专家，不再一股脑调所有模块，避免推理冲突。

图2｜MoSEs带来的在特殊驾驶技能场景下的表现：在并线、超车、识别交通标志等复杂场景中，ExpertAD 显著提升了成功率；而在紧急制动和避让等安全性场景中，也保持了稳定表现，展现出强大的多任务适应能力

超低延迟 + 多任务表现更强

与原始 UniAD/VAD/VADv2 相比，ExpertAD 在不大幅增加模型参数的前提下，实现：

● 碰撞率降低

● 轨迹误差下降

● 推理延迟减少 

在 Bench2Drive 稀有场景（如并线、红绿灯识别、事故避让）中表现明显提升，是应对复杂真实场景的关键能力。

图3｜不同模型的碰撞率与推理延迟对比：在不牺牲速度的前提下，ExpertAD 显著提升了规划效果：不仅碰撞率最低，还将推理延迟控制在更优水平。横轴为平均推理时间，纵轴为碰撞率，越靠左下越优秀

03 实验与表现

论文进行了包括 open-loop、closed-loop、跨城市泛化等多项评估，最终实验表现如下：

● 综合性能提升：在保证速度的同时提升规划效果，并降低推理延迟；

 

图4｜不同模型的碰撞率与推理延迟对比：在不牺牲速度的前提下，ExpertAD 显著提升了规划效果：不仅碰撞率最低，还将推理延迟控制在更优水平。横轴为平均推理时间，纵轴为碰撞率，越靠左下越优秀

● 碰撞率下降：在新加坡和波士顿的泛化测试中，ExpertAD 都比原模型碰撞率更低；

图5｜ExpertAD在不同城市下的泛化结果

● 复杂场景恢复能力强：下图展示了一例 UniAD 决策失误（未识别交警）导致偏航，而 ExpertAD 成功调整路径，避开了潜在危险。

图6｜左图：原始 UniAD 未能识别交警，车辆偏航进入危险区域；右图：ExpertAD 成功识别并及时调整轨迹，安全完成变道。该案例展示了 ExpertAD 在高风险场景中的感知敏锐度与快速响应能力

04 总结

ExpertAD 代表了一种正在兴起的新趋势——将Mixture-of-Experts理念引入自动驾驶，让系统具备“模块动态调度”和“注意力重构”的能力。

相比一味堆叠参数，它主张用结构来解耦任务、用选择来提升效率。这不仅提升了性能，也为未来将更多知识融入系统提供了接口，比如未来结合世界模型（world models）或语言模型时，ExpertAD可能就是它们之间的调度中枢。

在真实上路之前，我们也许更需要一套“会挑活、会协调”的决策大脑，而不是盲目相信“越大越好”。

 

论文出处：AAAI2025

论文标题：ExpertAD: Enhancing Autonomous Driving Systems with Mixture of Experts

论文作者：Haowen Jiang, Xinyu Huang, You Lu, Dingji Wang, Yuheng Cao, Chaofeng Sha, Bihuan Chen,Keyu Chen, Xin Peng

论文链接：https://arxiv.org/pdf/2511.11740