宋红 · AgentOS 编排层 · 暑期实习第一周
阶段声明:第一月(mock)
详细记录:D:\THU\BeiJing\嘲风\任务日志.md + 任务详情.md
| 日期 | 阶段 | 工作内容 | 状态 |
| 07-07 | 阶段0 | 项目熟悉与任务约束建立 | ✅ 完成 |
| 07-07 | 阶段1 | mock 栈环境配置与联调验证 | ✅ 完成 |
| 07-07 | 阶段2 | 技术选型调研与整体计划确认 | ✅ 完成 |
| 07-08 | 阶段2 | 依据审核结果01进行整改 | ✅ 完成 |
| 07-08 | 阶段2 | 开发方案独立归档并编号 | ✅ 完成 |
| 07-08 | 阶段3 | 产出方案02(编排核心增强) | ✅ 完成 |
| 07-08 | 阶段3 | 依据审核02优化方案02 | ✅ 完成 |
| 07-09 | 阶段3 | 产出总览四件套文档 | ✅ 完成 |
| 07-09 | 阶段3 | 边界澄清:双下游黑盒 + 路线规划 | ✅ 完成 |
- WSL2 Ubuntu-24.04 + venv 隔离环境(fastapi/uvicorn/pydantic/pyyaml)
- 三服务(Agent:8010 / VLA:8011 / LLM:8012)mock 栈联调全通过
- smoke_test 四项测试全过:
/health → ok
- “帮我把球捡起来” →
robot.pick_ball → ball_pick_v1(中文命中)
- “pick ball” → 同技能(英文命中)
- “北京有什么旅游景点” →
llm.general_qa(LLM 兜底)
- 修复 WSL 挂载导致的脚本 mode 位漂移(
git config core.fileMode false)
产出《Agentos机器人架构调研》(36KB),覆盖:
- 业界 9 项目剖析(rosaOS、ROSA、ros-mcp-server、LiteVLA-Edge、OK-Robot、Octo、RAI、EMOS、Code as Policies)
- MCP 协议与动态能力发现
- 小模型决策引擎设计(Qwen2.5-1.5B/3B + Code as Policies)
- 任务编排状态机(DAG 流转:DISPATCH→EXECUTE→JUDGE→RETRY)
- 边缘硬件部署方案(昇腾310B / 进迭时空K3)
| 文档 | 内容 | 用途 |
| 01-项目大纲 | 项目简介、职责边界、六层架构、技术栈、硬件路线 | 给不了解项目的人的入口 |
| 02-分阶段任务待办 | Phase0~Phase5 极细粒度可勾选待办 | 给要动手的人的 checklist |
| 03-项目完整规划 | 各阶段具体实现方式 + 可选方案利弊 | 给要做技术决策的人 |
| 04-Agent执行约束 | 契约铁律、命名风格、provider 可插拔、安全闸门 | 给写代码的 agent 的紧箍咒 |
- 方案01:整体计划与开发大纲(ASR 选型、视觉判定分层、首发任务为关灯)
- 方案02:编排核心增强(S2 意图识别 + S3 反馈闭环 + S4 失败重试状态机)
- 审核结论:PASS(可进入 EXECUTE)
- 吸收审核02全部意见(Judge 契约补 evidence、职责切分钉死、MockJudge 不硬编码等)
- 明确两个隔离的下游黑盒:机械臂(同学A)+ 底盘移动(同学B)
- 路线规划是自有模块(route_planner),夹在 orchestrator 与底盘之间
- 复合任务中 orchestrator 交替调度 VLA 和底盘
- 四份总览文档全部贯通新边界
| 决策 | 选择 | 排除 | 理由 |
| 架构定位 | 多端到端技能 + AgentOS 上层编排 | 单体端到端 | 各技能可独立开发,AgentOS 只做壳 |
| ASR 方案 | 复用 SenseVoice-Small | 自研语音识别 | 254MB、20x 实时、CER~8%,成熟领域不造轮子 |
| 视觉判定 | 本地 YOLO 为主,云端 VLM 为辅 | 全云端 | 快+断网可用,语义判定才上云 |
| 首发任务 | 关灯 | 捡垃圾丢垃圾桶 | 单步定点、反馈直观、最小闭环验证 |
| 编排状态机 | 硬边界 DAG 状态机 | 纯 ReAct 自由发挥 | OK-Robot 经验:刚性状态机大幅提升物理环境成功率 |
| 边缘硬件 | 310B 先演示 → K3 后落地 | 锁定单一平台 | 310B 4GB 内存先跑通,K3 8GB 60TOPS 后上量 |
| # | 问题 | 需要谁 |
| 1 | 上游给的是音频流还是音频文件?采样率/格式? | 录音端同学 |
| 2 | 判定图像从哪来?(板载相机/仿真渲染/VLA 回传) | VLA 同学 |
| 3 | 真实 VLA 关灯策略何时给?仿真器是哪套? | VLA 同学 |
| 4 | 命令颗粒度选 A(语义目标)/B(waypoints)/C(离散指令)? | 底盘同学 B |
| 5 | 移动执行结果字段、坐标系/地图来源 | 底盘同学 B |
| 6 | 复合任务分解由谁做? | 底盘同学 B + 带教 |
- 310B 推理后端选型(MindIE vs llama.cpp CPU)
- Code-as-Policies 路径 A/B
- MCP 迁移时机
- 断网降级细化策略
- 进入 EXECUTE 阶段:按方案02执行 S2→S3→S4 编码
- S2 意图识别增强:文本归一化 + 扩充同义词 + LLM 分类兜底插槽
- S3 反馈闭环骨架:新增
orchestrator.py,MockJudge 实现
- S4 失败重试状态机:DISPATCH→EXECUTE→JUDGE→RETRY/REPORT
- 每步跑
smoke_test.sh 回归验证
- 收尾补双轨记录 + 结构化任务清单,交审核03
- (可选)开始方案03 准备:S5 ASR + S6 视觉判定
| 文件 | 位置 | 大小 |
| AgentOS任务约束手册 | D:\THU\BeiJing\嘲风\ | ~10KB |
| 任务日志 | D:\THU\BeiJing\嘲风\ | ~14KB |
| 任务详情 | D:\THU\BeiJing\嘲风\ | ~30KB |
| Agentos机器人架构调研 | D:\THU\BeiJing\嘲风\ | ~36KB |
| 开发方案 01/02 | D:\THU\BeiJing\嘲风\开发方案\ | ~11KB + ~15KB |
| 审核结果 01/02 | D:\THU\BeiJing\嘲风\审核结果\ | - |
| 总览四件套 | D:\THU\BeiJing\嘲风\总览\ | ~51KB |
| 本地优先架构讨论 | D:\THU\BeiJing\嘲风\本地优先架构讨论\ | ~60KB |