2023年8月25日，上海人工智能实验室、德国图宾根大学、德国图宾根人工智能中心联合推出了世界首个语言+自动驾驶全栈开源数据集——DriveLM，旨在借助大语言模型和海量自然语言数据集，构筑复杂场景下安全、精准、可解释的自动驾驶系统，突破现有自动驾驶推理能力上限。

DriveLM是一个基于nuScenes自动驾驶数据集构建的、以关键帧描述+问答对（Description+Q&A）为核心的数据集。整个数据集分为训练集和验证集两部分，训练集共包含697个场景，验证集包含150个场景。每个场景包含大约40帧（采样频率约为2赫兹），标注员会在其中选择4-8个关键帧进行标注。

DriveLM的标注覆盖了自动驾驶系统中的感知、预测、规划等模块，为整个自动驾驶系统提供了全栈式的语言标注数据。感知部分着重于询问物体相对车辆的位置或运动状态；预测部分询问车辆或行人的未来可能行为和状态；规划部分询问车辆可以采取的行动。

DriveLM的标注中还包含了基于假设进行推理的内容，有助于训练模型对尚未发生的未来事件进行预判。

此外，DriveLM提供了场景级别的全局驾驶目标描述和对应的帧级别的驾驶目标描述，引入了驾驶目标分解任务。通过将复杂的宏观驾驶任务分解为更具体、更简单的子任务，让自动驾驶系统学会应对更复杂多变的交通环境。

信息来源：

https://github.com/OpenDriveLab/DriveLM

https://opendrivelab.github.io/DriveLM

https://mp.weixin.qq.com/s/FCeIzp5fjh1_Go5Rp_CWXw