ByteDrive-Toy: From Pixels to Steering

Abstract 摘要

ByteDrive-Toy 将自动驾驶研究拆成两个连续阶段：首先使用冻结的 DINOv3 视觉骨干联合学习 29 类语义分割与米制深度估计；随后复用感知表征，把三路相机 frustum、LiDAR 体素与刚性对齐的历史 BEV 聚合到前向鸟瞰空间，并联合预测空间场、道路结构、交通控制、多模态轨迹和行为标签。

训练完成后，闭环运行器把模型接入 CARLA 同步仿真，形成“观测 → 双帧推理 → 轨迹选择 → 纯追踪 / PID 控制 → 下一观测”的反馈回路，并记录 episode 终态、进度、诊断和录像。

1 System Overview 系统全景

仓库覆盖从数据生成到仿真执行的完整链路。复杂度来自模块之间真实存在的依赖关系，而不是功能标签的堆叠。

1.1 异构数据系统 Data System

Python 3.7 worker 驱动 CARLA 0.9.15，Python 3.12 collector 负责编排、编码和落盘。两个运行时通过共享内存 arena 交接帧数据，传感器以 2Hz、运动学以 10Hz 异频记录；RGB 保存为 H.265，非 RGB 数据进入 LMDB。

1.2 感知预训练 Perception Pretraining

冻结 DINOv3 ViT-S+/16 视觉骨干，提取第 3、6、12 层完整 Token 序列。多尺度表征共同服务于 29 类语义分割、Symlog 深度回归和量程内外分类，并在驾驶模型中继续复用。

1.3 几何 BEV 与联合规划 Driving Model

相机内外参把 patch 中心与四角沿深度采样到三维空间；相机 frustum、LiDAR 体素和上一帧 BEV 在前向 64m × 64m 的鸟瞰空间汇合。规划分支使用 8 个可学习 Mode Token 查询 BEV 主干第 3、6 层特征，并以目标点和 ego 平面速度为条件。

2 Qualitative Results 可视化结果

以下图像与视频由仓库内工具直接生成。它们不是装饰性素材，而是用于检查预测质量、空间对齐与闭环行为的实验输出。

Expand ↗

Expand ↗

2.1 CARLA 闭环执行 Closed-loop Episode

视频顶部显示左 / 前 / 右三目与车辆状态，中部显示空间场和道路结构预测，底部显示全部候选轨迹与最终执行轨迹。

3 Implementation Status 实现状态

下表描述仓库当前实际范围。这里区分“已经运行”和“尚未实现”，避免把研究目标写成产品能力。

4 Scope & Limitations 研究边界

• 数据分布有限。 当前训练与演示数据集中在 Town02_Opt、单一专家行为风格和固定采集配方。
• 仅双帧时序。 系统融合一帧刚性对齐的历史 BEV，不具备长时序记忆。
• 行为克隆会累积误差。 停车、偏航、碰撞和路线完成率低仍是现阶段可能出现的行为。
• 仅用于 CARLA 仿真研究。 不可直接用于真实道路、真实车辆或任何安全关键决策。

5 Start from the Repository 从仓库开始

完整 README 记录了模型张量、训练方法、配置系统、数据格式、权重、闭环执行和已知限制。这个页面提供入口，而仓库才是项目的主要文档。