Keyboard shortcuts

Press or to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

第 1 周(2026-07-07 ~ 2026-07-09)

宋红 · AgentOS 编排层 · 暑期实习第一周 阶段声明:第一月(mock) 详细记录:D:\THU\BeiJing\嘲风\任务日志.md + 任务详情.md


一、本周工作总览

日期阶段工作内容状态
07-07阶段0项目熟悉与任务约束建立✅ 完成
07-07阶段1mock 栈环境配置与联调验证✅ 完成
07-07阶段2技术选型调研与整体计划确认✅ 完成
07-08阶段2依据审核结果01进行整改✅ 完成
07-08阶段2开发方案独立归档并编号✅ 完成
07-08阶段3产出方案02(编排核心增强)✅ 完成
07-08阶段3依据审核02优化方案02✅ 完成
07-09阶段3产出总览四件套文档✅ 完成
07-09阶段3边界澄清:双下游黑盒 + 路线规划✅ 完成

二、关键成果

2.1 环境搭建与联调验证

  • WSL2 Ubuntu-24.04 + venv 隔离环境(fastapi/uvicorn/pydantic/pyyaml)
  • 三服务(Agent:8010 / VLA:8011 / LLM:8012)mock 栈联调全通过
  • smoke_test 四项测试全过:
    • /health → ok
    • “帮我把球捡起来” → robot.pick_ballball_pick_v1(中文命中)
    • “pick ball” → 同技能(英文命中)
    • “北京有什么旅游景点” → llm.general_qa(LLM 兜底)
  • 修复 WSL 挂载导致的脚本 mode 位漂移(git config core.fileMode false

2.2 架构调研

产出《Agentos机器人架构调研》(36KB),覆盖:

  • 业界 9 项目剖析(rosaOS、ROSA、ros-mcp-server、LiteVLA-Edge、OK-Robot、Octo、RAI、EMOS、Code as Policies)
  • MCP 协议与动态能力发现
  • 小模型决策引擎设计(Qwen2.5-1.5B/3B + Code as Policies)
  • 任务编排状态机(DAG 流转:DISPATCH→EXECUTE→JUDGE→RETRY)
  • 边缘硬件部署方案(昇腾310B / 进迭时空K3)

2.3 总体规划(总览四件套)

文档内容用途
01-项目大纲项目简介、职责边界、六层架构、技术栈、硬件路线给不了解项目的人的入口
02-分阶段任务待办Phase0~Phase5 极细粒度可勾选待办给要动手的人的 checklist
03-项目完整规划各阶段具体实现方式 + 可选方案利弊给要做技术决策的人
04-Agent执行约束契约铁律、命名风格、provider 可插拔、安全闸门给写代码的 agent 的紧箍咒

2.4 开发方案(已通过审核)

  • 方案01:整体计划与开发大纲(ASR 选型、视觉判定分层、首发任务为关灯)
  • 方案02:编排核心增强(S2 意图识别 + S3 反馈闭环 + S4 失败重试状态机)
    • 审核结论:PASS(可进入 EXECUTE)
    • 吸收审核02全部意见(Judge 契约补 evidence、职责切分钉死、MockJudge 不硬编码等)

2.5 边界澄清

  • 明确两个隔离的下游黑盒:机械臂(同学A)+ 底盘移动(同学B)
  • 路线规划是自有模块(route_planner),夹在 orchestrator 与底盘之间
  • 复合任务中 orchestrator 交替调度 VLA 和底盘
  • 四份总览文档全部贯通新边界

三、关键决策与取舍

决策选择排除理由
架构定位多端到端技能 + AgentOS 上层编排单体端到端各技能可独立开发,AgentOS 只做壳
ASR 方案复用 SenseVoice-Small自研语音识别254MB、20x 实时、CER~8%,成熟领域不造轮子
视觉判定本地 YOLO 为主,云端 VLM 为辅全云端快+断网可用,语义判定才上云
首发任务关灯捡垃圾丢垃圾桶单步定点、反馈直观、最小闭环验证
编排状态机硬边界 DAG 状态机纯 ReAct 自由发挥OK-Robot 经验:刚性状态机大幅提升物理环境成功率
边缘硬件310B 先演示 → K3 后落地锁定单一平台310B 4GB 内存先跑通,K3 8GB 60TOPS 后上量

四、遗留问题与待确认项

需与队友/带教对齐

#问题需要谁
1上游给的是音频流还是音频文件?采样率/格式?录音端同学
2判定图像从哪来?(板载相机/仿真渲染/VLA 回传)VLA 同学
3真实 VLA 关灯策略何时给?仿真器是哪套?VLA 同学
4命令颗粒度选 A(语义目标)/B(waypoints)/C(离散指令)?底盘同学 B
5移动执行结果字段、坐标系/地图来源底盘同学 B
6复合任务分解由谁做?底盘同学 B + 带教

可推后(不阻塞当前实现)

  • 310B 推理后端选型(MindIE vs llama.cpp CPU)
  • Code-as-Policies 路径 A/B
  • MCP 迁移时机
  • 断网降级细化策略

五、下周计划

  1. 进入 EXECUTE 阶段:按方案02执行 S2→S3→S4 编码
    • S2 意图识别增强:文本归一化 + 扩充同义词 + LLM 分类兜底插槽
    • S3 反馈闭环骨架:新增 orchestrator.py,MockJudge 实现
    • S4 失败重试状态机:DISPATCH→EXECUTE→JUDGE→RETRY/REPORT
  2. 每步跑 smoke_test.sh 回归验证
  3. 收尾补双轨记录 + 结构化任务清单,交审核03
  4. (可选)开始方案03 准备:S5 ASR + S6 视觉判定

六、产出文件清单

文件位置大小
AgentOS任务约束手册D:\THU\BeiJing\嘲风\~10KB
任务日志D:\THU\BeiJing\嘲风\~14KB
任务详情D:\THU\BeiJing\嘲风\~30KB
Agentos机器人架构调研D:\THU\BeiJing\嘲风\~36KB
开发方案 01/02D:\THU\BeiJing\嘲风\开发方案\~11KB + ~15KB
审核结果 01/02D:\THU\BeiJing\嘲风\审核结果\-
总览四件套D:\THU\BeiJing\嘲风\总览\~51KB
本地优先架构讨论D:\THU\BeiJing\嘲风\本地优先架构讨论\~60KB