数据转换与模型训练

00课程节奏：五星学习法 · 8 段微课（每段 ≤ 15 min）

本实验按五星学习法组织：先抛出"loss 不降/KeyError"的数据转换翻车现场聚焦问题，再用装订相册与学徒背书激活旧知，接着对照训练环境清单与帧-动作对动画示证新知，然后动手完成转换→训练两条线并练超参选择应用新知，最后借常见问题与思考题融会贯通。全程切成 8 段微课、每段不超过 15 分钟，段间停顿 1~2 分钟消化；纯讲授合计约 100 分钟，其余课时用于动手实操与个别辅导。

讲课提示：课段 1/2 以讲授 + 提问为主；课段 3~4 用实物 + 动画；课段 5~6 边看视频边动手；课段 7 学员独立完成；课段 8 答疑拔高。段间停顿 1~2 分钟。

01学习目标课段 1 · 聚焦问题 · 12 min

• 理解四阶段转换架构：读取 CSV → 组装 Parquet → 拼接视频 → 生成 meta 三件套。
• 会用 --start/--end/--skip/--task 四种切法处理编号不连续与坏 episode 的现实问题。
• 独立搭建训练环境（Python 3.10 必须、PyTorch+CUDA、ffmpeg、pip install -e .）并跑通 lerobot-train。
• 读懂训练日志与 loss 曲线，掌握 checkpoint 目录结构，知道 batch_size 与 OOM 的取舍。

02原理：从散装记录到「帧-动作对」教材课段 1 收尾 + 课段 2 · 激活旧知 · 8 min

原始采集是一堆按编号存放的文件夹：CSV 关节角 + 零散视频帧，格式是自定义 33 列表头/34 列数据。转换器把它们像装订相册一样：每组 episode 的每一帧配一条动作标签，照片按时间码贴齐，最后压成标准 Parquet + MP4 + meta 清单。训练时 ACT 每次抽一个 batch，看「这一帧画面 + 当前 16 维关节状态」，预测接下来 100 步动作块（chunk_size=100），预测与人的示范做差——这个差回传（kl_weight=10、use_vae=true），网络就一点点「越看越像你」。

03硬件与材料：训练环境清单课段 3 · 示证新知 · 15 min

04操作步骤：转换 → 训练两条线课段 5~6 · 应用新知 · 2×15 min

1. 盘点编号：ls save_data 找最大编号（=最新一集），标出坏组编号；案例示例区间 180–209、坏组 163/172/202。
2. 执行转换：按需选用区间 / 跳过 / 任务名三种参数，日志出现「29 episodes、120450 帧、57.23MB 数据 + 2845.67MB 视频」即成功量级。
3. 验证产出：检查 data/ videos/ meta/ 三目录齐全；meta/info.json 可读、tasks.parquet 有任务名；缺 stats.json 图像统计可按排错补。
4. 准备训练环境：conda create -n lerobot python=3.10 → PyTorch → ffmpeg → git clone lerobot → pip install -e . → python -c 导入 ACTPolicy 验证。
5. 启动训练：lerobot-train 全参数执行；控制台或 JupyterLab 终端观察 log_freq=100 的 loss 输出。
6. 收敛判断与存档：loss 长时间平台化后按 save_freq 取 checkpoint（如 050000/pretrained_model）；OOM 时优先降 batch_size。

05关键命令随课段 5 / 6 对照使用

# ① 环境（03-数据训练：Python 必须 3.10）
conda create -n lerobot python=3.10 -y
conda activate lerobot && conda install ffmpeg -y
git clone <lerobot仓库> && cd lerobot && pip install -e .

# ② 转换的四种切法（02-数据转换 / 工厂场景案例）
python convert_lerobot_v3_fixed_simple.py --input ... --output ... \
  --start 180 --end 209                      # 场景1：连续区间
python convert_lerobot_v3_fixed_simple.py ... --skip 163,172,202  # 场景2：剔坏组
python convert_lerobot_v3_fixed_simple.py ... --task "Parts Categorization"  # 场景3：任务名

# ③ 训练（工厂场景案例真实命令）
lerobot-train \
  --policy.type=act \
  --dataset.repo_id=lindenbot/parts_categorization \
  --dataset.root=/home/lindenbot/converted_data \
  --output_dir=~/lerobot-0.4.1/output/act_fac \
  --job_name="place fruits in the box" \
  --batch_size=12 --steps=50000 --save_freq=4000 \
  --log_freq=100 --num_workers=8 \
  --wandb.enable=false --policy.push_to_hub=false --policy.use_amp=true

06动画：帧-动作对与训练进度课段 4 · 示证新知 · 12 min

07互动：训练超参选择题课段 7 · 应用新知 · 10 min

超参直觉：batch_size 管显存、steps 管时长、save_freq 管后悔药、log_freq 管心跳。数据量大而步数少 = 没看完书；步数多而数据烂 = 背错书。

08常见问题课段 8 · 融会贯通 · 13 min

09拓展阅读课段 8 · 融会贯通

• 02-数据转换 §性能对比：不加 -c 的全转码路径会大幅耗 CPU，simple 版 -c copy 为何「又快又保真」。
• convert_lerobot_data.py 源码：对照 LeRobotVivialConverter 四阶段类结构读懂工程实现。
• src/lerobot/policies/act/configuration_act.py：chunk_size、kl_weight、use_vae 等超参的官方定义与默认值。
• command/8_train_dual_arm.sh：工程模板如何组织双臂数据集的训练入口与输出目录。

10思考题 · 自测课段 8 · 融会贯通