先看一遍收纳成果，再拆开感知—决策—执行
本课程以聆动 LDT-01 双臂机器人的家庭收纳真实案例贯穿：左手打开不锈钢罐盖、右手拿起芒果放入罐中、左手再把盖子盖回，通过遥操作采集示范数据、转换为 LeRobot v3.0 数据集、训练 ACT 策略，最终在真机上自主复现「开盖—取物—入罐—盖盖」的完整闭环。
课程结构
四段能力阶梯：看懂 → 会采 → 会训 → 会推
案例认知
观看收纳成果演示，理解家庭场景布置与三步任务定义，建立「感知—决策—执行」与四段流水线的全局地图。
遥操作采集
LDT-01 主从遥操作、开机与任务管理新建，双臂配合演示开盖入罐动作，完成家庭场景示范数据录制。
转换与训练
CSV→LeRobot v3.0 转换（parquet+三路视频）、坏组过滤，配置 ACT 策略超参，用 lerobot-train 完成模型训练。
真机推理
ROS2 推理节点、DRY_RUN 安全开关先行，真机自主复现收纳动作，并用摆放偏移检验策略鲁棒性。
开盖—取物—入罐—盖盖
左手开盖、右手放芒果、左手盖回，循环执行的家庭收纳闭环。
LeRobot 0.4.1
convert_lerobot_v3_fixed_simple.py + lerobot-train 工具链。
ACT 策略
Action Chunking + VAE，batch_size=12、steps=50000 起步。
ROS2 推理闭环
50Hz 推理 / 100Hz 限速发布 / SetBool 服务启停。
实验项目
每实验 8 学时 · demo → 框架 → 分步操作
案例总览与成果演示CASE OVERVIEW
首屏播放《家庭收纳场景》演示视频看到最终成果，再用闭环动画拆解感知—决策—执行与开盖取物时序，最后按四段流水线分步进入后续实验。
LDT-01 遥操作数据采集TELEOP & RECORD
设备开机与安全双人制、任务管理新建与三相机配置、3 秒内握持操作端，双臂同步录制开盖入罐示范，失败组当场标记剔除。
数据转换与模型训练CONVERT & TRAIN
编号目录规范核验、依赖安装与五参数转换，坏组过滤与任务标注，ACT 超参精讲、lerobot-train 本地/云端训练与日志判读。
真机推理与鲁棒性评估REAL ROBOT
推理脚本三步启动、DRY_RUN 模拟安全先行、SetBool 服务开闸，真机自主复现收纳闭环，再改芒果摆放位置评估策略鲁棒性。
工具与平台
全部来自真实项目环境
家庭收纳整理
罐子开盖取物入罐，桌面/收纳柜物品归位的典型家务工位。
双臂开合盖协同
左手负责罐盖开合、右手负责抓取水果放入，双手按时序配合互不打架。
三相机视觉
头部 + 左右手腕相机同时观测，盖沿、罐口、果实近距离全程可见。
端侧推理 + 鲁棒评估
模型驻留机载 4060 Ti，摆放偏移下测试表现，量化策略泛化能力。
源材料清单
7 份 PDF 指导文档 · 参数命令均摘自原文
| # | 文档 | 用于 |
|---|---|---|
| S1 | 聆动机器人案例-家庭场景 | EXP-01 / EXP-04：核心案例、场景布置、真实命令、成功判据与鲁棒性评估 |
| S2 | 00-聆动机器人硬件参数介绍 | EXP-01 / EXP-02：算力平台、三相机、主从臂与夹爪参数表 |
| S3 | 01-聆动机器人数据采集流程 | EXP-02：开机、任务创建、三分支采集、坏组标记与安全须知 |
| S4 | 02-聆动机器人数据转换 | EXP-03：依赖与 FFmpeg、输入目录契约、五参数转换与排错 |
| S5 | 03-聆动机器人数据训练 | EXP-03：Conda/CUDA 环境、lerobot-train、OOM 与云端训练 |
| S6 | 04-聆动机器人推理 | EXP-04：节点架构、安全机制表、ROS2 接口与运行方法 |
| S7 | 遥操作设备LDT-01软件使用流程(开发者版) | EXP-02：按键/LED/拖拽模式/双人安全制/Q&A |
另参考 行业课程案例\聆动课程\代码\lerobot-0.4.1\command\ 下 sh 脚本与 src/lerobot/policies/act/，各实验命令章节均为源码/文档摘录，不虚构参数。
32 学时分配
每实验 8 学时 · 讲授 / 演示 / 实操 / 复盘
| 实验 | 主题 | 学时 | 课堂节奏（8 学时拆分） |
|---|---|---|---|
| EXP-01 | 案例总览与成果演示 | 8 | 2h 看演示讲任务 · 2h 感知—决策—执行原理 · 2h 动画与互动 · 2h 思考讨论 |
| EXP-02 | LDT-01 遥操作数据采集 | 8 | 1h 硬件与安全讲解 · 2h 开机自检上手 · 4h 分组采集实操 · 1h 数据质控复盘 |
| EXP-03 | 数据转换与模型训练 | 8 | 2h 环境搭建 · 2h 转换实操 · 2h 训练启动与日志 · 2h 排错与调参 |
| EXP-04 | 真机推理与鲁棒性评估 | 8 | 2h 推理架构 · 1h DRY_RUN 空跑 · 3h 真机开闸复现 · 2h 偏移评估与复盘 |
| TOT | 合计 | 32 | 教学动线统一为：先看演示成果 → 再讲框架原理 → 后分步动手操作 |
结课成果物
学生需提交的四项留痕材料
采集数据包
save_data 合格 episode 集 + 坏组剔除记录表，编号连续可追溯。
转换与训练日志
v3.0 数据集验证截图、lerobot-train 完整日志与 loss 曲线、checkpoint 路径。
复现与鲁棒性视频
真机自主开盖入罐连续成功片段 + 不同摆放位置的对照录像与成功率记录。
复盘报告
四实验思考题作答、失败案例归因（数据/环境/参数）、改进项清单。
课堂组织建议
面向机房 + 真机工位的双场景教学
- 分组：2 人 1 组对标真机采集的「双人制」——一人操作、一人安全观察，角色每轮互换。
- 布景复原：芒果、不锈钢罐与盖子按默认布局拍照留底，换组时按片复原，桌面到基座距离保持一致。
- 数据版本：每组 save_data 按「组号-日期」建目录命名规范，坏组当天标记不过夜。
- 训练错峰：本地 4060 Ti 训练穿插讲解排错；大批量放 gpufree 云端并行，课堂只看日志与曲线。
- 演示前置：每实验开场 10 分钟回放《家庭收纳场景》成果视频/上一实验录像，保持「先看再做」动线。
- 验收关口：EXP-02 末查数据、EXP-03 末查 checkpoint、EXP-04 末查复现与偏移评估视频，三关不过不进下一实验。
考核权重建议
过程留痕 70% + 结果复现 30%
数据质量分
有效示范数量与纯净度、坏组剔除记录、任务命名规范（EXP-02）。
工程执行分
转换一次通过率、训练日志完整度、排错记录（EXP-03）。
规范与安全分
双人制、布景复原、DRY_RUN 先行、检查清单执行情况（EXP-02/04）。
复现成果分
真机连续成功轮次 + 摆放偏移评估记录 + 复盘报告归因质量（EXP-04）。
四段数据流水线
每段的输出是下一段的输入契约
save_data 原始记录
编号子目录 + CSV 关节角 + 三路视频帧；最大编号即最新一集，坏组走「本次采集失败」剔除。
converted_data 标准集
data/*.parquet + videos/ 三路 mp4 + meta/ 三件套（info / tasks / stats），--start --end --skip --task 五参数切法。
outputs checkpoint
lerobot-train 驱动 ACT：batch_size=12、steps=50000、save_freq=4000、log_freq=100、num_workers=8。
真机关节指令
50Hz 推理 + 100Hz 发布，硬性限速与 ramp 保护，/model_ifrun 服务随时接管或交还控制权。
验收速览与常见疑问
结课前对照打钩
数据验收
有效示范达标（案例口径约 200 组）、坏组清零、converted_data 三目录齐全、任务名唯一。
训练验收
环境 python=3.10 导入 ACTPolicy 成功、loss 总体下降、至少一个可用 checkpoint 落盘。
推理验收
DRY_RUN 空跑日志正常、服务开关可启停、真机开盖入罐连续成功、急停随时可用。
文档验收
每个实验留档截图与日志、思考题作答完整、复盘表记录环境差异与改进项。
必须按 01→04 顺序吗？
是。每段的产物是下一段的输入，缺环即断链（无数据不能训、无 checkpoint 不能推）。
本地 4060 Ti 够用吗？
够训 ACT，但要控制数据量与 batch_size 防 OOM；大批量可走 gpufree L40S 云端路线。
为什么描述要英文？
任务名/描述会写入 tasks 表当训练标签，英文可规避后续文本编码坑（01 文档要求）。
摆放换了位置还行吗？
这正是 EXP-04 的鲁棒性评估——在偏移位置测成功率，偏移过大失败属正常，靠补采数据改善。
学习路径
32 学时建议节奏：看 → 采 → 训 → 推
看懂目标
观看收纳演示，掌握三步任务定义、场景测量与四段流水线总览。
采到好数据
主从遥操作上手，完成开盖入罐双臂同步采集与坏组标记。
训出模型
转换 v3.0 数据集，设好 ACT 超参，读懂训练日志与收敛曲线。
真机复现
DRY_RUN 先行、服务启停，真机跑通收纳闭环并完成偏移评估。