添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。
文末附3D视觉行业细分群。

扫描下方二维码，加入3D视觉知识星球，星球内凝聚了浩瀚3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、打算机视觉书本、优质3D视觉算法源码等。
想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

0. 这篇文章干了啥？

近几十年来，自动驾驶（AD）算法取得了飞速发展，从模块化流水线发展到端到端模型和知识驱动方法。
只管这些算法在各种基准测试中展示了出色的性能，但在利用重放开环数据集评估时，仍面临重大寻衅，这粉饰了它们在现实天下中的有效性。

公共数据集虽然供应了具有真实传感器输入和交通畅动的驾驶数据，但实质上倾向于大略的直线行驶场景。
在这种情形下，代理只需保持当前状态即可实现看似良好的性能，从而繁芜化了在繁芜情形下评估实际驾驶能力的事情。
此外，在开环评估中，代理确当前决策不会影响实行或后续决策，这使其无法反响现实天下驾驶场景中的累积缺点。
其余，由于记录的数据集具有静态特性，其他车辆无法对自车行为做出反应，这进一步阻碍了在动态、真实天下条件下对自动驾驶算法的评估。

我们剖析了现有的自动驾驶方法和平台，创造个中大多数都不敷以进行高保真度的闭环仿照。
空想情形下，作为具身智能的一个方面，应在闭环环境中对代理进行评估，个中其他代理会对自车行为做出反应，而自车则会相应地吸收到变革的传感器输入。
然而，现有的仿照环境要么无法仿照传感器输入，要么与真实天下存在显著的领域差距，这使得算法难以无缝集成到现实天下中，从而对闭环评估构成了巨大寻衅。
我们认为，仿照器不仅要紧密反响现实天下的视觉和物理特性，还应在探索性闭环系统中促进模型的不断学习和进化，以适应各种繁芜的驾驶场景。
为了实现这一目标，必须建立一个符合物理定律并支持交互功能的高保真仿照器。

因此，我们推出了DRIVEARENA，一个基于条件天生模型的先驱性闭环仿照器，用于演习和测试驾驶代理。
详细而言，DRIVEARENA供应了一个灵巧的平台，可与任何基于摄像头输入的驾驶代理集成。
它采取模块化设计，自然支持各模块的迭代升级。
DRIVEARENA由交通管理器（Traffic Manager）和天下梦想家（World Dreamer，基于自回归天生）组成。
交通管理器可以在环球任何道路网络上天生逼真的交互式交通流，而天下梦想家则是一个具有无限自回归能力的高保真条件天生模型。
驾驶代理通过与环境交互来学习，在DRIVEARENA中，这种交互是通过驾驶代理吸收来自环境的图像和状态信息，并基于这些信息实行驾驶操作来实现的。
然后，环境会根据驾驶代理的操作更新其状态，并天生新的图像和状态信息，从而形成一个闭环。
这种闭环机制使得驾驶代理能够在不断变革的环境中持续学习和进化。
驾驶代理应根据天下梦想家天生的图像做出相应的驾驶动作，并将这些动作反馈回交通管理器以更新环境中车辆的状态。
新的场景布局将返回给天下梦想家进行新一轮的仿照。
这一迭代过程实现了驾驶代理与仿照环境之间的动态交互。

下面一起来阅读一下这项事情~

1. 论文信息

标题：DriveArena: A Closed-loop Generative Simulation Platform for Autonomous Driving

作者：Xuemeng Yang, Licheng Wen, Yukai Ma, Jianbiao Mei, Xin Li, Tiantian Wei, Wenjie Lei, Daocheng Fu, Pinlong Cai, Min Dou, Botian Shi, Liang He, Yong Liu, Yu Qiao

机构：上海AI Lab、浙江大学、上海交通大学、TUM、华东师范大学

原文链接：https://arxiv.org/abs/2408.00415

代码链接：https://github.com/PJLab-ADG/DriveArena

官方主页：https://pjlab-adg.github.io/DriveArena/

2. 择要

本文先容了DRIVEARENA，这是首个为高保真度闭环仿照系统设计的驾驶代理，用于在真实场景中导航。
DRIVEARENA具有灵巧、模块化的架构，可无缝互换其核心组件：交通管理器（Traffic Manager），这是一个能够在环球任何街道舆图上天生逼真车流的交通仿照器；以及World Dreamer，这是一个具有无限自回归特性的高保真条件天生模型。
这种强大的协同浸染使任何能够处理现实天下图像的驾驶代理都能够在DRIVEARENA的仿照环境中进行导航。
代理通过World Dreamer天生的图像感知周围环境，并输出轨迹。
这些轨迹被输入到交通管理器中，以实现与其他车辆的逼真交互，并产生新的场景布局。
末了，最新的场景布局被传回World Dreamer，从而延续仿照循环。
这一迭代过程促进了在高度逼真环境中的闭环探索，为在各种繁芜场景中开拓和评估驾驶代理供应了一个有代价的平台。
DRIVEARENA标志着在利用天生图像数据构建驾驶仿照平台方面取得了重大飞跃，为闭环自动驾驶供应了新的见地。

代码将很快在GitHub上发布：https://github.com/PJLab-ADG/DriveArena

3. 效果展示

从交互性和逼真度两个维度将DRIVEARENA与现有的自动驾驶方法和平台进行比较。
交互性表示平台对车辆的掌握，范围从开环、不可控闭环到可控闭环。
逼真度反响了驾驶场景的真实性，从低到高依次为：仅交通流、不现实场景、现实场景和多样场景。
DRIVEARENA独占右上角，是首个能够天生多样交通场景并为所有车辆供应闭环可控环视图像的仿照平台。

4. 紧张贡献

详细贡献如下：

• 高保真闭环仿照：我们提出了首个用于自动驾驶的高保真闭环仿照器DRIVEARENA，它能够供应逼真的周围环境图像，并与现有的基于视觉的驾驶代理无缝集成。
它能够紧密反响现实天下的视觉和物理特性，使代理能够在闭环办法下不断学习和进化，以适应各种繁芜的驾驶场景。

• 可控性和可扩展性：我们的交通管理器可以动态掌握场景中所有车辆的移动，并将道路和车辆布局输入给天下梦想家。
天下梦想家利用条件扩散框架以稳定且可控的办法天生逼真的图像。
此外，DRIVEARENA支持利用环球任何城市的道路网络进行仿照，能够创建具有不同风格的多样化驾驶场景图像。

• 模块化设计：驾驶代理、交通管理器和天下梦想家通过网络接口进行通信，构建了一个高度灵巧和模块化的框架。
这种架构许可在不须要特定实现的情形下，用不同方法更换各个组件。
作为这些参与者的竞技场，DRIVEARENA促进了基于视觉的自动驾驶算法和驾驶场景天生模型的全面测试和改进。

5. 基本事理是啥？

如图2所示，我们提出的DRIVEARENA框架包含两个关键组件：一个是作为后端物理引擎的Traffic Manager，另一个是作为现实天下图像渲染器的World Dreamer。
与传统方法不同，DRIVEARENA不依赖于预先构建的数字资产或重修的3D道路模型。
相反，Traffic Manager能够适应OpenStreetMap（OSM）格式中任何城市的道路网络，这些网络可以直接从互联网高下载。
这种灵巧性使得DRIVEARENA能够在各种城市布局上进行闭环交通仿照。

Traffic Manager吸收自动驾驶代理输出的自我轨迹，并管理所有背景车辆的移动。
与同时依赖扩散模型进行图像天生和车辆移动预测的天下模型方法不同，我们的Traffic Manager采取显式的交通流天生算法。
这种方法能够天生更广泛的不常见且可能不屈安的交通场景，同时也有利于车辆之间的实时碰撞检测。

World Dreamer天生与Traffic Manager输出精确对应的逼真相机图像。
它还许可用户定义的提示来掌握天生图像的各种元素，如街景风格、一天中的韶光和蔼象条件，从而增强了天生场景的多样性。
详细来说，它采取了一个基于扩散的模型，该模型利用当前的舆图和车辆布局作为掌握条件来天生环视图像。
这些图像作为端到端驾驶代理的输入。
鉴于DRIVEARENA的闭环架构，扩散模型须要保持天生图像在跨视图和韶光上的同等性。

当前帧天生的多视图图像被输入到端到端自动驾驶代理中，该代理可以输出自车的运动情形。
然后，将方案的自车轨迹发送给DRIVEARENA以进行下一步的仿照。
当自车成功完成整条路线、发生碰撞或偏离道路时，仿照结束。
仿照完成后，DRIVEARENA实行全面的评估过程，以评估驾驶代理的能力。

值得把稳的是，DRIVEARENA采取了分布式模块化设计。
交通管理器（Traffic Manager）、天下梦想家（World Dreamer）和自动驾驶代理（AD agent）通过网络利用标准化接口进行通信。
因此，DRIVEARENA并没有对天下梦想家或自动驾驶代理的详细实现做出逼迫规定。
我们的框架旨在作为这些“玩家”的“竞技场”，促进端到端自动驾驶算法和真实驾驶场景天生模型的全面测试和改进。

6. 实验结果

为了评估我们天生的图像与原始nuScenes图像之间的仿照到现实的差距，我们采取了UniAD作为评估器。
我们基于nuScenes验证集供应的原始布局，以2Hz的频率为150个场景天生了视频。
为了进行比较剖析，我们将MagicDrive设置为基准方法，并利用其官方代码和检讨点进行推理。
随后，我们在这些图像上实行UniAD，以打算包括3D目标检测、鸟瞰图（BEV）舆图分割和方案在内的各种指标。
结果总结在表1中。

表1显示，我们所有的指标均高于基准方法，乃至有几个指标超过了原始nuScenes的性能。
此外，它还证明了我们模型在准确相应掌握旗子暗记并严格遵守输入条件方面的卓越能力。
这些创造为我们将天生器用作可靠仿照器奠定了坚实的根本。

在本节中，我们采取盛行的端到端自动驾驶方法UniAD作为驾驶代理，在DRIVEARENA框架内测试其开环和闭环性能。
我们利用了UniAD的开源代码和预演习权重，没有进行额外的演习。
UniAD以2Hz的频率运行，输出未来3秒内包含6个路径点的轨迹。
交通管理器进一步将此轨迹插值到10Hz。

开环评估。
我们首先评估UniAD在DRIVEARENA开环模式下的性能。
UniAD在以下三个场景中进行评估：1) 原始nuScenes图像序列；2) 由World Dreamer天生的nuScenes图像序列，个中车辆的轨迹与nuScenes的真实轨迹相同，但周围图像被更换为由World Dreamer天生的图像；3) DRIVEARENA自己的仿照序列（即DRIVEARENA的开环模式）。
我们的评估指标包括PDM分数及其子分数，详细细节见第3.4节。
此外，我们还评估了nuScenes中人类驾驶员驾驶的轨迹，作为人类驾驶员的性能表现。
详细结果如表2所示。

闭环评估。
我们进一步评估了UniAD在DRIVEARENA闭环模式下的性能。
在该模式下，UniAD输出的轨迹直接用于掌握自车，评估指标包括PDM分数（PDMS）、路线完成率（RC）和Arena驾驶分数（ADS）。
我们的闭环实验在四条预设路径上进行，个中两条路径位于波士顿，两条位于新加坡。
完成每条轨迹的仿照韶光约为120秒。
详细结果如表3所示。

7. 总结 & 未来事情

本文先容了一种名为DRIVEARENA的新型闭环仿真平台，该平台专为基于视觉的驾驶代理设计。
DRIVEARENA集成了交通管理器，该管理器可天生类似人类的交通流，以及具有无限天生能力的高保真天生模型World Dreamer。
这种组合使得驾驶代理与仿真环境之间能够进行逼真的交互和连续的反馈。
该系统为在各种场景下开拓和测试自动驾驶代理供应了一个有代价的平台，标志着驾驶仿真技能的一大飞跃。

DRIVEARENA采取模块化架构设计，便于轻松更换各个模块。
本文展示了DRIVEARENA的初步实现。
作为首个高保真闭环仿照器，我们仍有一些局限性，有待未来改进：

数据多样性：当前的天生模型仅基于nuScenes数据集进行演习，这限定了数据的多样性和天生能力。
我们操持扩展演习数据集，纳入更多样化的数据集，以增强模型的鲁棒性和通用性。

韶光同等性：虽然我们可以通过自回归策略天生连续视频，但保持帧与帧之间的运动趋势和韶光同等性仍旧具有寻衅性。
未来的事情将探索多帧自回归网络和更具可扩展性的架构，以办理这些问题。

运行效率：与许多天生模型一样，World Dreamer须要较长的运行韶光。
研究更快的采样方法和模型量化可能会缓解这些问题。

扩展代理测试：我们操持将更多种类的驾驶代理集成到DRIVEARENA中，以促进在闭环环境中知识驱动型驾驶代理的持续学习和进化。

真实竞技场：DRIVEARENA不仅可以评估不同驾驶代理的性能，还可以作为自动驾驶天生模型的试验场。
通过利用相同的驾驶代理作为裁判，它可以公正地评估不同天生模型的仿照到真实差距。
与传统指标如FID和FVD比较，这种方法乃至供应了更加可信和令人信服的评估。

我们认识到，实际运用可能还须要一段韶光，但这项事情所展示的潜力和前景是显而易见的。
我们希望这项研究能够推动在高度逼真环境中的闭环探索，并为在各种寻衅性场景下开拓和评估驾驶代理供应一个有代价的平台。
我们鼓励业界互助，共同推动这一领域的发展。
开放循环的时期正在转变，自动驾驶的评估和学习即将进入一个闭环系统的新时期。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

本文仅做学术分享，如有侵权，请联系删文。

3D视觉互换群，成立啦！

目前我们已经建立了3D视觉方向多个社群，包括2D打算机视觉、最前沿、工业3D视觉、SLAM、自动驾驶、三维重修、无人机等方向，细分群包括：

工业3D视觉：相机标定、立体匹配、三维点云、构造光、机器臂抓取、毛病检测、6D位姿估计、相位偏折术、Halcon、拍照丈量、阵列相机、光度立体视觉等。

SLAM：视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器领悟、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

自动驾驶：深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器领悟、自动驾驶综合群等、3D目标检测、路径方案、轨迹预测、3D点云分割、模型支配、车道线检测、Occupancy、目标跟踪等。

三维重修：3DGS、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

无人机：四旋翼建模、无人机飞控等

2D打算机视觉：图像分类/分割、目标/检测、医学影像、GAN、OCR、2D毛病检测、遥感测绘、超分辨率、人脸检测、行为识别、模型量化剪枝、迁移学习、人体姿态估计等

最前沿：具身智能、大模型、Mamba、扩散模型等

除了这些，还有求职、硬件选型、视觉产品落地、产品、行业新闻等互换群

添加小助理: dddvision，备注：研究方向+学校/公司+昵称（如3D点云+清华+小草莓）, 拉你入群。

转载请注明：片头模版 » 模拟任何交通场景DriveArena闭环自动驾驶模拟器的飞跃