案例总览与成果演示

00课程节奏：五星学习法 · 8 段微课（每段 ≤ 15 min）

本实验按五星学习法组织：先看成果演示视频聚焦问题，再用「教孩子收玩具」激活旧知，接着示证新知（硬件三大件 + 感知决策执行闭环动画），然后动手应用新知梳理四段流水线与节拍估算，最后借常见问题与拓展融会贯通。全程切成 8 段微课、每段不超过 15 分钟，段间停顿 1~2 分钟消化；纯讲授合计约 100 分钟，其余课时用于动手实操与个别辅导。

讲课提示：课段 1/2 以讲授 + 提问为主；课段 3~4 用实物 + 动画；课段 5~6 边看视频边动手；课段 7 学员独立完成；课段 8 答疑拔高。段间停顿 1~2 分钟。

01学习目标 · 先看成果课段 1 · 聚焦问题 · 12 min

• 理解家庭收纳任务：左手打开不锈钢罐盖 → 右手拿芒果放入罐中 → 左手盖回盖子的三步闭环。
• 记住四段流水线：数据采集 → 数据转换 → 模型训练 → 真机推理，各段输入输出清晰。
• 能用「感知—决策—执行」讲清机器人为何能自主完成收纳动作。
• 明确教学动线：本页先看演示，后续三个实验把这段视频「拆开再拼回去」。

建议先完整看一遍演示：接下来三个实验，就是把这段视频「拆开再拼回去」。

02原理：任务定义与感知—决策—执行课段 1 收尾 + 课段 2 · 激活旧知 · 8 min

收纳任务像教孩子收玩具：「先开盖，再把水果放进去，最后盖好盖子」。机器人并不懂「芒果」是什么，它只是把「三路相机看到的画面 + 当前关节状态」翻译成「下一步关节动作」。这中间有三个角色：感知（相机看现场）、决策(ACT 策略选出动作)、执行(双臂与夹爪动起来)，三者首尾相接形成闭环，跑完一轮就是一次收纳。

03硬件与材料课段 3 · 示证新知 · 15 min

场景测量提醒（案例原文）：桌面到机械臂的距离保持一致、方位粗略测量即可；采集量够大时可容忍小的位置变动——但默认布局不乱动，复现最稳。

04操作步骤：从开机到四段流水线课段 5~6 · 应用新知 · 2×15 min

1. 部署与开机：按默认布局摆好罐与芒果 → 测量桌面到基座距离 → 依次开侧面电源与主机电源，开机后夹爪张开再收回。
2. 进入上位机：登录 Ubuntu（默认密码 1），浏览器访问 localhost:8699/#/robotManage。
3. 建任务与采集：新建任务（名称/描述建议英文）→ 预览轨迹 → 点开始后 3 秒内握持操作端完成示范 → 停止当前组，循环往复。
4. 标记坏数据：失误的组点「本次采集失败」，该组不计入训练。
5. 转换 → 训练 → 推理：convert 脚本切段转换 → lerobot-train 训练 ACT → 加载 checkpoint 用 /model_ifrun 服务开关复现闭环。

05关键命令（预览，后续实验展开）随课段 5 / 6 对照使用

以下命令摘自《聆动机器人案例-家庭场景》与 LeRobot 0.4.1 入口，本实验先混个脸熟：

# ① 数据转换：save_data 编号目录 → LeRobot v3.0 数据集
python convert_lerobot_v3_fixed_simple.py \
  --input  /home/lindenbot/save_data/<组目录> \
  --output /home/lindenbot/converted_data \
  --start 180 --end 209

# ② 训练 ACT 策略（家庭任务，本地示例，完整参数见 EXP-03）
lerobot-train --policy.type=act \
  --dataset.repo_id=lindenbot/put_fruit_in_box \
  --dataset.root=/home/lindenbot/converted_data \
  --batch_size=12 --steps=50000 --save_freq=4000

# ③ 真机推理：启动推理节点后，用服务开关控制自主收纳
ros2 service call /model_ifrun std_srvs/srv/SetBool "{data: true}"   # 开始
ros2 service call /model_ifrun std_srvs/srv/SetBool "{data: false}"  # 停止

06动画：感知—决策—执行闭环与开盖取物时序课段 4 · 示证新知 · 12 min

07互动：收纳节拍估算器课段 7 · 应用新知 · 10 min

案例复盘口径：采集数据 200 次左右、训练步数 500000 步以上，桌面环境与默认布局保持一致，收纳闭环复现才稳。轮数不是越多越好——含失误的轮次会被剔除，有效轮次才是硬指标。

08常见问题课段 8 · 融会贯通 · 13 min

09拓展阅读课段 8 · 融会贯通

• 《聆动机器人案例-家庭场景》：安全要求、场景测量建议、复现效果评估与成功判据原文。
• 《00-聆动机器人硬件参数介绍》：相机/主从臂/夹爪完整参数表（EXP-01 第 03 章已摘核心行）。
• LeRobot 官方 ACT 论文：Action Chunking with Transformers——一次输出动作块，动作更平滑。
• 对照 IND-03 物料分拣案例：同一条四段流水线，换任务、换物料即迁移——场景变、框架不变。
• 《遥操作设备 LDT-01 软件使用流程（开发者版）》：双人安全制与拖拽模式，EXP-02 详解。

10思考题 · 自测课段 8 · 融会贯通