第 2 周(2026-07-14 ~ 2026-07-18)
宋红 · AgentOS 编排层 / SimCar 端侧探索 阶段声明:从 AgentOS 编排收口进入端侧 SimCar 复合任务 MVP
一、本周工作总览
| 日期 | 主题 | 结果 |
|---|---|---|
| 07-14 | SenseVoice 真实语音入口与会话/磁盘真相核查 | 已完成并归档 |
| 07-16 | 框架复用评估、项目设计和职责边界定稿 | 已完成并归档 |
| 07-17 | AgentOS 基线收口、SimCar Gateway 和无障碍捡球 live 验收 | 已完成 |
| 07-17 | 端侧 Qwen Planner、运动技能、已知几何绕障和复合捡球 MVP | 已实现并通过自动化测试 |
| 07-18 | WSLg 音频穿透、Ollama 模型和实时语音前置条件检查 | 前置条件已确认,实时流尚未完成 |
二、关键成果
2.1 AgentOS 主链收口
- 完成集成分支
integration/agentos-20260717; - 建立独立 SimCar worktree 和
feat/simcar-agent-loop分支; - 保持
route_user_text -> (intent, ToolCall)契约不变; - 保持
vla_service/**和模拟器不变; - 全量测试基线和 SimCar 增量测试均可重复运行。
2.2 SimCar 真值捡球闭环
完成并在线验证:
中文文本
→ Agent API
→ SimCar Gateway
→ 分段前进
→ grab
→ hasBall + armState Judge
→ complete
同时验证了否定指令不下发任何车辆动作。当前能力限定为准备好的无障碍场景和模拟器真值状态,不是视觉 VLA。
2.3 端侧高层 Planner 与已知几何绕障
新增:
- 白名单 JSON
TaskPlan; - Ollama/Qwen Planner 接入点;
- 前进、后退、左右转、停车技能;
- 车辆足迹膨胀和左右绕行几何规划;
- 路径点到 5 cm 控制片段的编译;
- “绕过已知障碍物后捡球”复合执行器;
- 运动任务和捡球任务分别判定终态;
- 未知目标、5 cm 近障碍、碰撞、断连、超时安全失败。
2.4 测试证据
清除 __pycache__ 后的权威结果:
277 collected
267 passed
10 skipped
0 failed
1 existing Starlette/httpx deprecation warning
新增测试覆盖 Planner JSON 校验、技能白名单、运动参数上限、几何路径安全距离、未知目标零运动、复合任务和 Gateway 契约。
三、技术判断
3.1 大模型的职责
端侧大模型只负责:
- 识别用户意图;
- 把抽象指令拆成高层技能;
- 选择目标、方向和任务顺序;
- 在需要时提出澄清。
确定性模块负责:
- 距离、角度和速度上限;
- 障碍物膨胀和路径计算;
- 分段运动;
- 实时状态校验;
- 碰撞、断连、超时和急停。
不能让 1.5B 模型直接输出连续底盘控制量并盲发。
3.2 WSLg 音频穿透
已确认:
PULSE_SERVER=unix:/mnt/wslg/PulseServer;/mnt/wslg/PulseAudioRDPSource存在;- 这说明 Windows 音频输入可以通过 WSLg 的 PulseAudio/RDP source 暴露给 WSL。
尚未完成:
- Ubuntu 内安装
pactl/parec或等效采集工具; - 16 kHz 单声道持续录音验证;
- VAD、音频分片、partial transcript、打断和急停。
3.3 Qwen 1.5B
- 模型文件已经存在于
/root/.ollama/models; - Ollama client 可用,daemon 需要显式启动;
- 需要用基础动作、规则图形和复合障碍任务做计划成功率测试;
- 如果 1.5B 对“这个障碍物”“走个正方形”等抽象指令不稳定,应优先增加
trace_shape等高层技能和澄清机制,再比较 3B/7B 模型。
四、老板演示口径
当前可以说:
AgentOS 已经能把自然语言转换成受约束的高层任务计划,并在已知几何的 SimCar 场景中分段执行、实时检查状态和安全停车。
当前不能说:
已经通过摄像头识别障碍物,具备 GPT-5.6 级任意抽象指令理解,或已经完成未知环境自主导航。
五、下周计划
- 接通 WSLg 实时麦克风采集和音频流入口;
- 启动 Ollama,建立 Qwen 1.5B 计划成功率/延迟测试集;
- 新增 L1 基础运动和 L2
trace_shape技能; - 在已知坐标场景完成绕障 live 验收;
- 增加返回起点、窄通道和 S/8 字路径的纯几何测试;
- 定义视觉/模拟器对象接口,为 L3/L4 真感知闭环接入留出边界;
- 根据实测结果决定继续 1.5B、切换 3B/7B,还是增加专用结构化 Planner。
六、相关归档
- 本周详细日志:
工作日志/; - 总体设计和约束:
总览/; - SimCar 代码、契约、演示和交接:
SimCar/; - 上周启动记录:
周报/第1周-2026-07-07~2026-07-09.md。