week2工作

模型	是否LeRobot支持	参数规模	输入	输出	最大特点	训练方式
SmolVLA	✅ 官方重点支持	450M左右	图像 + 文本 + robot state	action chunk	小模型、端侧友好、低成本微调	Transformer + Action Expert，模仿学习
OpenVLA	✅ 可接入	7B	图像 + 文本	action token	当前最经典开源VLA之一，泛化能力强	大规模机器人数据预训练 + SFT
Pi0 (π0)	✅ 社区支持	3B左右	图像 + 文本 + proprioception	连续动作	Physical Intelligence提出，能力强	Flow Matching + VLM

openvla和pi0都需要云端训练且都需要更大的数据集来训练

调研LeRobot生态中基于SmolVLA的开源模型与数据集，重点关注SO101平台上的双视角(top+wrist)视觉输入任务

名称	类型	机器人	任务功能	摄像头数量	摄像头配置
lerobot/smolvla_base	模型	通用	通用VLA基础模型	多camera	任意
lerobot/svla_so100_pickplace	数据集	SO100	方块抓取放置	2路	top + side/up
lerobot/svla_so101_pickplace	数据集	SO101	方块抓取放置	2路	top + wrist/side
faye7/so101-smolvla	模型	SO101	Pick & Place	2路	没说明
AndrewNoviello/so101-smolvla	模型	SO101	Pick & Place	2路	没说明
rtsmc/smolvla_box_in_bin_so101_test	模型	SO101	方块放入盒子	2路	top + wrist

复现 LeRobot / SmolVLA 后机器人动作异常（抽搐、不成功）原因分析：

解决方案：

1.重新采集机器人数据

2.构建自定义VLA数据集

3.基于SmolVLA进行微调

场景	双臂分工	社区参考情况
双臂共同搬盒子	左右臂分别夹住盒子两侧，移动到目标区域	属于最基础的同步双臂控制任务，适合作为自采数据起点
一臂固定盒子，另一臂放入东西	左臂扶住容器，右臂抓取并放入	社区已有双臂抓取积木并放入箱子的 SmolVLA 训练案例。
双臂分别抓取物品并整理	两臂各抓一个物体，分别放入杯子或箱子	社区已有双 SO101 抓取马克笔并放入容器的 SmolVLA 模型
双臂传递方块	左臂拿起，右臂接住并放置	已有公开的双 SO100 方块交接数据集及 SmolVLA、π0、GR00T 等模型。
一臂打开盒盖，另一臂放物体	左臂拉住盒盖，右臂完成抓取放置	可由“开门”和“物体放入容器”两个已有社区任务组合而成，属于较实际的多阶段任务。
双臂搭简单金字塔	两臂交替拿积木，完成底层和上层摆放	已有基于约100条 episode 训练的双 SO101 SmolVLA 金字塔模型，但公开说明较少。
双臂展开或折叠毛巾	两臂抓住毛巾两角，拉平后折叠	LeRobot 社区已有衣物折叠演示，ArmnetBench 也包含双 SO101 毛巾折叠任务。
双臂分类物体	左臂处理左侧物体，右臂处理右侧物体，按颜色放入不同区域	属于双臂抓取整理任务的自然扩展，适合使用不同文本指令训练多任务 SmolVLA

初步定为左右手传递物品，双手传递相比单臂抓取放置：

扩大工作空间：一个机械臂抓不到或放不到的位置，可以通过另一只机械臂接力完成。

支持任务分工：左右机械臂可以分别负责取料和放置，形成连续的操作流水线。

减少单臂大范围运动：单臂不需要跨越整个桌面，能够缩短轨迹并降低碰撞风险。

Keyboard shortcuts