看一遍成果，再拆开整条流水线
本课程以聆动 LDT-01 双臂机器人的工厂物料分拣真实案例贯穿：左手摆放黑色零件入左格、右手摆放银色零件入右格，通过遥操作采集示范数据、转换为 LeRobot v3.0 数据集、训练 ACT 策略，最终在真机上自主复现分拣动作。
课程结构
四段能力阶梯：看懂 → 会采 → 会训 → 会推
案例认知
观看分拣成果演示，理解双臂分工任务定义，建立「采集→转换→训练→推理」四段流水线的全局地图。
遥操作采集
LDT-01 主从遥操作、四臂校准、任务管理新建与三路相机录制，掌握高质量示范数据的生产方法。
转换与训练
CSV→LeRobot v3.0 转换（parquet+三路视频），配置 ACT 策略超参，用 lerobot-train 完成模型训练。
真机推理
ROS2 推理节点三终端启动、DRY_RUN 安全开关、50Hz 推理闭环，真机自主复现分拣并复盘优化。
LeRobot 0.4.1
lerobot-teleoperate / record / train 三件套 CLI。
ACT 策略
Action Chunking + VAE，chunk_size=100 动作块。
v3.0 数据格式
parquet 关节帧 + 三路 RGB 视频流对齐。
ROS2 推理闭环
50Hz 推理 / 100Hz 限速发布 / SetBool 服务启停。
实验项目
每实验 8 学时 · demo → 框架 → 分步操作
成果演示与整体框架CASE OVERVIEW
先播放《工厂分拣场景》演示视频看到最终成果，再拆解双臂分拣任务定义与四段流水线动画，建立全课地图。
LDT-01 遥操作与数据采集TELEOP & RECORD
硬件参数与三相机布局、开机与任务管理新建、主从遥操作映射、双臂同步录制与失败标记排除。
数据转换与模型训练CONVERT & TRAIN
CSV 转 LeRobot v3.0 数据集、坏组过滤与任务标注，ACT 超参精讲，lerobot-train 训练与日志判读。
真机推理与分拣复现REAL ROBOT
推理节点三终端启动、DRY_RUN 模拟安全先行，真机自主复现放件动作，案例复盘与常见问题排查。
工具与平台
全部来自真实项目环境
工业物料分拣
黑件 / 银色零件分类入格，产线上料与缺陷分拣的典型工位。
双臂分工协同
左手管左件入左格、右手管右件入右格，双手互不串扰。
三相机视觉
头部 + 左右手腕相机同时观测，弥补单视角遮挡盲区。
端侧推理部署
模型驻留机载 4060 Ti，ROS2 服务热启停，DUST 关急停联动。
源材料清单
8 份 PDF 指导文档 · 参数命令均摘自原文
| # | 文档 | 用于 |
|---|---|---|
| S1 | 聆动机器人案例-工厂场景 | EXP-01 / EXP-04：核心案例、转换/训练/推理真实命令、成功判据 |
| S2 | 00-聆动机器人硬件参数介绍 | EXP-01 / EXP-02：算力平台、四相机、主从臂与夹爪参数表 |
| S3 | 01-聆动机器人数据采集流程 | EXP-02：开机、任务创建、三分支采集、坏组标记与安全须知 |
| S4 | 02-聆动机器人数据转换 | EXP-03：四阶段架构、四种切法、输出目录详解与排错 |
| S5 | 03-聆动机器人数据训练 | EXP-03：Conda/CUDA 环境、lerobot-train、OOM 与在线训练 |
| S6 | 04-聆动机器人推理 | EXP-04：节点架构、三层平滑、ramp、三终端与日志判读 |
| S7 | 遥操作设备LDT-01软件使用流程(开发者版) | EXP-02：按键/LED/拖拽模式/自检脚本/插补检查/Q&A |
| S8 | 聆动机器人案例-家庭场景 | 拓展：同流水线换任务对照，体会「场景变、框架不变」 |
另参考 行业课程案例\聆动课程\代码\lerobot-0.4.1\command\ 1~9 号 sh 脚本、convert_lerobot_data.py 与 src/lerobot/policies/act/，命令章节均为源码/文档摘录，不虚构参数。
32 学时分配
每实验 8 学时 · 讲授 / 演示 / 实操 / 复盘
| 实验 | 主题 | 学时 | 课堂节奏（8 学时拆分） |
|---|---|---|---|
| EXP-01 | 成果演示与整体框架 | 8 | 2h 看演示讲任务 · 2h 四段流水线原理 · 2h 动画与互动 · 2h 思考讨论 |
| EXP-02 | LDT-01 遥操作与数据采集 | 8 | 1h 硬件讲解 · 2h 开机自检上手 · 4h 分组采集实操 · 1h 数据质控复盘 |
| EXP-03 | 数据转换与模型训练 | 8 | 2h 环境搭建 · 2h 转换四种切法实操 · 2h 训练启动与日志 · 2h 排错与调参 |
| EXP-04 | 真机推理与分拣复现 | 8 | 2h 推理架构 · 1h DRY_RUN 空跑 · 3h 真机开闸复现 · 2h 复盘与思考题 |
| TOT | 合计 | 32 | 教学动线统一为：先看演示成果 → 再讲框架原理 → 后分步动手操作 |
结课成果物
学生需提交的四项留痕材料
采集数据包
save_data 合格 episode 集 + 坏组剔除记录表，编号连续可追溯。
转换与训练日志
v3.0 数据集验证截图、lerobot-train 完整日志与 loss 曲线、checkpoint 路径。
复现视频
真机自主分拣连续成功片段（含起点桌面环境对照），配三终端日志同屏更佳。
复盘报告
四实验思考题作答、失败案例归因（数据/环境/参数）、改进项清单。
课堂组织建议
面向机房 + 真机工位的双场景教学
- 分组：2 人 1 组对标真机采集的「双人制」——一人操作、一人安全观察，角色每轮互换。
- 设备节拍：真机工位按 2 米半圆清场排班，桌面布置拍照留底，换组时按片复原。
- 数据版本：每组 save_data 建目录命名规范（组号-日期），坏组当天标记不过夜。
- 训练错峰：本地 4060 Ti 训练穿插讲解排错；大批量放云端并行，课堂只看日志与曲线。
- 演示前置：每实验开场 10 分钟回放本课成果视频/上一实验录像，保持「先看再做」动线。
- 验收关口：EXP-02 末查数据、EXP-03 末查 checkpoint、EXP-04 末查复现视频，三关不过不进下一实验。
考核权重建议
过程留痕 70% + 结果复现 30%
数据质量分
有效示范数量与纯净度、坏组剔除记录、任务命名规范（EXP-02）。
工程执行分
转换一次通过率、训练日志完整度、排错记录（EXP-03）。
规范与安全分
双人制、清场、DRY_RUN 先行、检查清单执行情况（EXP-02/04）。
复现成果分
真机连续成功轮次 + 复盘报告归因质量（EXP-04 + 四实验思考题）。
四段数据流水线
每段的输出是下一段的输入契约
save_data 原始记录
编号子目录 + CSV 关节角 + 三路视频帧；最大编号即最新一集，坏组走「本次采集失败」剔除。
converted_data 标准集
data/*.parquet + videos/ 三路 mp4 + meta/ 三件套（info / tasks / stats），--start --end --skip --task 四种切法。
outputs checkpoint
lerobot-train 驱动 ACT：batch_size=12、steps=50000、save_freq=4000、log_freq=100、use_amp=true。
真机关节指令
50Hz 推理 + 100Hz 发布，三层平滑与 ramp 保护，/model_ifrun 服务随时接管或交还控制权。
验收速览与常见疑问
结课前对照打钩
数据验收
有效示范达标（案例口径约 150 组）、坏组清零、converted_data 三目录齐全、任务名唯一。
训练验收
环境 python=3.10 导入 ACTPolicy 成功、loss 总体下降、至少一个可用 checkpoint 落盘。
推理验收
DRY_RUN 空跑日志正常、服务开关可启停、真机双臂分拣连续成功、急停随时可用。
文档验收
每个实验留档截图与日志、思考题作答完整、复盘表记录环境差异与改进项。
必须按 01→04 顺序吗？
是。每段的产物是下一段的输入，缺环即断链（无数据不能训、无 checkpoint 不能推）。
本地 4060 Ti 够用吗？
够训 ACT，但要控制数据量与 batch_size 防 OOM；大批量可走 gpufree L40S 云端路线。
为什么描述要英文？
任务名/描述会写入 tasks 表当训练标签，英文可规避后续文本编码坑（01 文档要求）。
换场景要重做哪些步骤？
四段全部重走，但框架命令不变——对照家庭场景文档可快速迁移（场景变、框架不变）。
学习路径
32 学时建议节奏：看 → 采 → 训 → 推
看懂目标
观看分拣演示，掌握任务定义、场景测量与四段流水线总览。
采到好数据
校准四臂、遥操作上手，完成双臂同步采集与坏组标记。
训出模型
转换 v3.0 数据集，设好 ACT 超参，读懂训练日志与收敛曲线。
真机复现
DRY_RUN 先行、服务启停，真机跑通分拣复现并复盘优化。