SimToReal 概述

AKA-Sim2Real 是一个基于前视视角的自动驾驶模拟到真实（Sim2Real）系统，旨在通过模拟器采集人类驾驶数据，训练 ACT（Action Chunking Transformer）模型，并将训练好的策略迁移到真实小车上运行。

系统架构

┌─────────────────────────────────────────────────────────┐
│                     AKA-Sim2Real                        │
│                                                         │
│  ┌─────────────┐    ┌──────────────┐    ┌───────────┐  │
│  │  模拟器/真车  │───▶│  数据采集模块  │───▶│  数据集   │  │
│  │ (Sim/Real)  │    │  Episode API │    │ output/  │  │
│  └─────────────┘    └──────────────┘    │ dataset/ │  │
│         │                               └────┬─────┘  │
│         │                                    │        │
│         │           ┌──────────────┐    ┌────▼─────┐  │
│         │           │  ACT 模型推理  │◀───│ 模型训练  │  │
│         └──────────▶│  Inference   │    │Training  │  │
│                     │   Runtime    │    └──────────┘  │
│                     └──────────────┘                  │
└─────────────────────────────────────────────────────────┘

系统由三个核心部分组成：

模块说明
模拟器 / 真车接口提供前视视角仿真环境，支持键盘手动控制与自动推理两种模式
数据采集记录图像帧 + 车辆状态 + 动作，导出为结构化数据集
ACT 训练与推理基于 Action Chunking Transformer 进行模仿学习，支持 CVAE 与时序集成

技术栈

层级技术
后端框架FastAPI + Socket.IO (Python)
深度学习PyTorch + ResNet18 + Transformer
前端React + TypeScript + Socket.IO Client

文档目录