Keyboard shortcuts

Press or to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

第 2 周(2026-07-14 ~ 2026-07-18)

宋红 · AgentOS 编排层 / SimCar 端侧探索 阶段声明:从 AgentOS 编排收口进入端侧 SimCar 复合任务 MVP

一、本周工作总览

日期主题结果
07-14SenseVoice 真实语音入口与会话/磁盘真相核查已完成并归档
07-16框架复用评估、项目设计和职责边界定稿已完成并归档
07-17AgentOS 基线收口、SimCar Gateway 和无障碍捡球 live 验收已完成
07-17端侧 Qwen Planner、运动技能、已知几何绕障和复合捡球 MVP已实现并通过自动化测试
07-18WSLg 音频穿透、Ollama 模型和实时语音前置条件检查前置条件已确认,实时流尚未完成

二、关键成果

2.1 AgentOS 主链收口

  • 完成集成分支 integration/agentos-20260717
  • 建立独立 SimCar worktree 和 feat/simcar-agent-loop 分支;
  • 保持 route_user_text -> (intent, ToolCall) 契约不变;
  • 保持 vla_service/** 和模拟器不变;
  • 全量测试基线和 SimCar 增量测试均可重复运行。

2.2 SimCar 真值捡球闭环

完成并在线验证:

中文文本
→ Agent API
→ SimCar Gateway
→ 分段前进
→ grab
→ hasBall + armState Judge
→ complete

同时验证了否定指令不下发任何车辆动作。当前能力限定为准备好的无障碍场景和模拟器真值状态,不是视觉 VLA。

2.3 端侧高层 Planner 与已知几何绕障

新增:

  • 白名单 JSON TaskPlan
  • Ollama/Qwen Planner 接入点;
  • 前进、后退、左右转、停车技能;
  • 车辆足迹膨胀和左右绕行几何规划;
  • 路径点到 5 cm 控制片段的编译;
  • “绕过已知障碍物后捡球”复合执行器;
  • 运动任务和捡球任务分别判定终态;
  • 未知目标、5 cm 近障碍、碰撞、断连、超时安全失败。

2.4 测试证据

清除 __pycache__ 后的权威结果:

277 collected
267 passed
10 skipped
0 failed
1 existing Starlette/httpx deprecation warning

新增测试覆盖 Planner JSON 校验、技能白名单、运动参数上限、几何路径安全距离、未知目标零运动、复合任务和 Gateway 契约。

三、技术判断

3.1 大模型的职责

端侧大模型只负责:

  • 识别用户意图;
  • 把抽象指令拆成高层技能;
  • 选择目标、方向和任务顺序;
  • 在需要时提出澄清。

确定性模块负责:

  • 距离、角度和速度上限;
  • 障碍物膨胀和路径计算;
  • 分段运动;
  • 实时状态校验;
  • 碰撞、断连、超时和急停。

不能让 1.5B 模型直接输出连续底盘控制量并盲发。

3.2 WSLg 音频穿透

已确认:

  • PULSE_SERVER=unix:/mnt/wslg/PulseServer
  • /mnt/wslg/PulseAudioRDPSource 存在;
  • 这说明 Windows 音频输入可以通过 WSLg 的 PulseAudio/RDP source 暴露给 WSL。

尚未完成:

  • Ubuntu 内安装 pactl/parec 或等效采集工具;
  • 16 kHz 单声道持续录音验证;
  • VAD、音频分片、partial transcript、打断和急停。

3.3 Qwen 1.5B

  • 模型文件已经存在于 /root/.ollama/models
  • Ollama client 可用,daemon 需要显式启动;
  • 需要用基础动作、规则图形和复合障碍任务做计划成功率测试;
  • 如果 1.5B 对“这个障碍物”“走个正方形”等抽象指令不稳定,应优先增加 trace_shape 等高层技能和澄清机制,再比较 3B/7B 模型。

四、老板演示口径

当前可以说:

AgentOS 已经能把自然语言转换成受约束的高层任务计划,并在已知几何的 SimCar 场景中分段执行、实时检查状态和安全停车。

当前不能说:

已经通过摄像头识别障碍物,具备 GPT-5.6 级任意抽象指令理解,或已经完成未知环境自主导航。

五、下周计划

  1. 接通 WSLg 实时麦克风采集和音频流入口;
  2. 启动 Ollama,建立 Qwen 1.5B 计划成功率/延迟测试集;
  3. 新增 L1 基础运动和 L2 trace_shape 技能;
  4. 在已知坐标场景完成绕障 live 验收;
  5. 增加返回起点、窄通道和 S/8 字路径的纯几何测试;
  6. 定义视觉/模拟器对象接口,为 L3/L4 真感知闭环接入留出边界;
  7. 根据实测结果决定继续 1.5B、切换 3B/7B,还是增加专用结构化 Planner。

六、相关归档

  • 本周详细日志:工作日志/
  • 总体设计和约束:总览/
  • SimCar 代码、契约、演示和交接:SimCar/
  • 上周启动记录:周报/第1周-2026-07-07~2026-07-09.md