ACT 算法精讲

本课程将 ACT(Action Chunking Transformer)的所有实现代码逐行拆解讲解,以算法课的方式带你深入理解每一行代码背后的数学原理和设计决策。

课程目录

章节标题核心内容
第 0 讲课程概述与数学基础ACT 核心思想、代码地图、符号约定
第 1 讲配置系统ACTConfig 25 个超参数详解、参数校验、默认配置
第 2 讲数据集与归一化ACTDataset 滑窗采样、QUANTILES 百分位数归一化
第 3 讲模型实现(上)Temporal Ensembling、2D 正弦位置编码、ResNet18 视觉编码器、状态编码器
第 4 讲模型实现(下)Transformer Encoder/Decoder(Pre-Norm)、CVAE 重参数化、ACTModel 完整前向传播
第 5 讲训练流程Parquet 数据加载、训练循环、CVAE latent 统计收集、检查点保存
第 6 讲推理运行时系统检查点加载、预处理管线、Temporal Ensembling 策略、Singletone 运行时

如何使用本课程

推荐阅读路径

  1. 初学者:按顺序 0→1→2→3→4→5→6 阅读
  2. 想快速理解核心:先读第 0 讲和第 4 讲(ACTModel.forward())
  3. 想部署推理:读第 1 讲(配置)、第 6 讲(推理系统)
  4. 想调优训练:读第 2 讲(数据集)、第 5 讲(训练)

代码对照阅读

每讲的标题下方标注了对应的源文件。建议打开源文件和本课程并排阅读——先看课程讲解,再看代码实现。

参考资料