可控数据生成项目

2.1 DriveDreamer-2: LLM-Enhanced World Models for Diverse Driving Video Generation

DriveDreamer-2 通过集成大型语言模型（LLM）增强的世界模型，能够生成多样化的驾驶视频。系统基于文本提示生成符合交通规则的高清地图（HDMap），并确保生成视频的时空一致性，为自动驾驶系统提供高质量的数据支持。

2.2 DrivingDiffusion: Layout-Guided Multi-view Driving Scene Video Generation with Latent Diffusion Model

DrivingDiffusion 是一个时空一致的多视图视频生成框架，利用潜在扩散模型（Latent Diffusion Model）指导的布局生成，确保多视角下的视频内容一致且连贯。该框架通过多视图单帧生成、单视图视频生成以及后处理优化，显著提升了生成视频的质量与一致性。

4.1 系统目标

• 通过文本提示生成多样化的交通场景
• 提供 Drive 视频生成的交通条件
• 确保生成视频的时空一致性

4.2 个人负责内容

• 单帧生成模块:
  • 基于 MagicDrive，支持内部多视角（4 鱼眼、7V、11V）的数据生成与编辑。
  • 生成数据中包含 3D 边界框（3D BBox）和地图标签，确保数据的完整性和可用性。
  • 优化单帧生成任务的算法流程，提高生成效率和结果精度。
• 视频生成模块:
  • 设计自回归模型，实现连续帧的高质量生成，确保时序一致性。
  • 集成 DDIM（Denoising Diffusion Implicit Models），优化推理速度并提升生成视频的图像质量。
  • 支持文本或离线 BEV 交通流作为条件输入，生成符合实际驾驶场景的视频。
  • 利用 OpenSora-STDiT 技术，显著提升视频的时间连贯性和图像质量。
  • 引入 ControlNet，对齐时序条件（condition）和时序 latent 特征，实现可控的多维度环视视频生成 (B, T, V, 3, H, W)。
  • 实现环视视频一次性生成，支持多视角（4 鱼眼、7V、11V）数据的自动化生成。