遥操作与数据采集

00课程节奏：五星学习法 · 8 段微课（每段 ≤ 15 min）

本实验按五星学习法组织：先用一个真实故障聚焦问题，再激活旧知（串口权限、校准文件、视频编码），接着示证新知（主从臂 + 三摄像头 + 人在环数据流），然后动手应用新知完成单臂/双臂遥操作与数据采集，最后借排障与拓展融会贯通。全程切成 8 段微课、每段不超过 15 分钟，段间停顿 1~2 分钟消化；纯讲授合计约 100 分钟，其余课时用于动手实操与个别辅导。

讲课提示：课段 1/2 以讲授 + 提问为主；课段 3~4 用实物 + 动画；课段 5~6 边看视频边动手；课段 7 学员独立完成；课段 8 答疑拔高。段间停顿 1~2 分钟。

01实验目标课段 1 · 聚焦问题 · 12 min

四条目标对应四段验收证据：连接日志（SO101 connected）、12 关节回显表、录制循环日志（Recording → Reset → Map 100%）、以及缓存目录中可打开的 parquet + 视频——每条都要截图进实验报告。

02核心原理：人在环数据流课段 1 收尾 + 课段 2 · 激活旧知 · 8 min

把机器人想成一双刚学会拿筷子的手：它还不知道"怎么抓"，但人类操作员知道。遥操作就是给人的手上绑一根"提线"——你动主臂（leader），从臂（follower）像镜子一样跟着动，把"抓-拿-放"的完整手艺原样录下来。

整条数据流分三段：①主从控制——主臂编码器读出 6 个关节角度，经串口发给从臂执行，循环速率约 60 Hz（日志显示 time: 16.72ms (60 Hz)）；②多模态感知——左右手腕摄像头 + 头部摄像头把 640×480 / 30 fps 画面同时写入；③数据落盘——每一帧的机器人状态、动作、任务文本与视频被打包成一个 episode，任务结束后的复位期（reset）不算入有效片段。

存储路径在 ~/.cache/huggingface/lerobot/<学生名>/<数据集名>/。录制暂停时视频还要经过 SVT-AV1 编码（日志出现 Map: 100%|…| 479/479 与 SVT-AV1 Encoder Lib v3.0.0），此时机械臂不要动，等 Recording episode 1 出现再开始下一条。

为什么强调两套频率：关节指令跑 60 Hz 是为了跟手不滞后，图像停在 30 fps 是为了给编码和落盘留带宽——两者由同一个 episode 时间戳对齐，任何一路掉帧都会让"这一帧该出哪只手"的对应关系错位。

图 1-1｜单臂遥操作工位实景：操作员手持主臂（leader）发出 60 Hz 关节指令，从臂（follower）在桌面实时跟随执行，腕部摄像头与显示器构成视觉反馈闭环（第 06 章）

03环境与材料课段 3 · 示证新知 · 15 min

• ✓硬件：LZ-XL01 平台（SO101/SO100 主从机械臂）+ 3 台 USB 摄像头（/dev/cam_left、/dev/cam_right、/dev/cam_head）
• ✓前置任务：已完成"机械臂串口"识别与"主从臂校准"（校准文件保存在 ~/.cache/huggingface/lerobot/calibration/）
• ✓软件：LeRobot 0.4.1，conda activate lerobot 环境
• ✓串口设备：/dev/arm_slave_left|right（从臂）、/dev/arm_master_left|right（主臂）
• ✓参考资料：指导文件第 06～09 章 + 本页两段指导视频
• ✓数据集口径：两条任务链路分别用 liming/put_cube_plate 与 test/bimanual_pick_place（§5 命令原文），分别对应本课单臂、双臂两条实验线

章节与资源的对应关系，边学边对号：

操作熟练线（自检用）：不看笔记 5 分钟内完成"授权串口 → 单臂跟随 → Ctrl+C 干净退出"一轮，并能指出 4 份校准文件各自的存放路径。

04实操步骤（含指导视频）课段 5~6 · 应用新知 · 2×15 min

观看两段视频时各抓一个细节：视频 1 看操作员如何用回车确认校准、视频 2 看双臂 12 关节回显表的左右对称结构——这两处正是 §8 排错表的高频出错点。

图 4-1｜双臂遥操作现场实景：操作员双手各持一套主臂（leader），左右两套从臂（follower）同步跟随，12 关节位置回显在终端 display_data=true 表中实时刷新（第 07 章）

05关键命令随课段 5 / 6 对照使用

所有命令均取自 LZ-XL01 指导文件原文，可直接粘贴到 lerobot 终端。

# ── 单臂遥操作（第 06 章）
conda activate lerobot
sudo chmod 666 /dev/arm*
lerobot-teleoperate \
  --robot.type=so101_follower --robot.port=/dev/arm_slave_left \
  --robot.id=left_follower_arm \
  --teleop.type=so101_leader --teleop.port=/dev/arm_master_left \
  --teleop.id=left_leader_arm

# ── 双臂前置：复制 4 份校准文件（第 07 章，必须先执行）
mkdir -p ~/.cache/huggingface/lerobot/calibration/robots/so100_follower/
mkdir -p ~/.cache/huggingface/lerobot/calibration/teleoperators/so100_leader/
cp ~/.cache/huggingface/lerobot/calibration/robots/so101_follower/left_follower_arm.json \
   ~/.cache/huggingface/lerobot/calibration/robots/so100_follower/bimanual_follower_left.json
（right 从臂、左/右主臂 4 个文件同理，共 4 条 cp）

# ── 双臂遥操作（第 07 章）
lerobot-teleoperate \
  --robot.type=bi_so100_follower \
  --robot.left_arm_port=/dev/arm_slave_left \
  --robot.right_arm_port=/dev/arm_slave_right \
  --robot.id=bimanual_follower \
  --teleop.type=bi_so100_leader \
  --teleop.left_arm_port=/dev/arm_master_left \
  --teleop.right_arm_port=/dev/arm_master_right \
  --teleop.id=bimanual_leader --display_data=true

# ── 单臂数据采集（第 08 章）
rm -rf /home/lz-xl01/.cache/huggingface/lerobot/liming/put_cube_plate
lerobot-record \
  --robot.type=so101_follower --robot.port=/dev/arm_slave_left \
  --robot.id=left_follower_arm \
  --robot.cameras="{left: {index: 0, fps: 30, width: 640, height: 480, video_backend: av}, \
side: {index: 2, fps: 30, width: 640, height: 480, video_backend: av}}" \
  --teleop.type=so101_leader --teleop.port=/dev/arm_master_left \
  --teleop.id=left_leader_arm --display_data=true \
  --dataset.repo_id=liming/put_cube_plate --dataset.num_episodes=5 \
  --dataset.single_task="Put red cube into plate" --dataset.push_to_hub=false \
  --dataset.episode_time_s=16 --dataset.reset_time_s=6

# ── 双臂数据采集（第 09 章，三摄像头 + 12 关节）
lerobot-record \
  --robot.type=bi_so100_follower \
  --robot.left_arm_port=/dev/arm_slave_left \
  --robot.right_arm_port=/dev/arm_slave_right \
  --robot.id=bimanual_follower \
  --teleop.type=bi_so100_leader \
  --teleop.left_arm_port=/dev/arm_master_left \
  --teleop.right_arm_port=/dev/arm_master_right \
  --teleop.id=bimanual_leader \
  --robot.cameras="{left: {index: 0, ...}, \
right: {index: 3, ...}, side: {index: 5, ...}}" \
  --dataset.repo_id=test/bimanual_pick_place --dataset.num_episodes=3 \
  --dataset.single_task="Lift the dish lid, put in the red block, and cover the lid." \
  --dataset.episode_time_s=16 --dataset.reset_time_s=6 \
  --dataset.push_to_hub=false --display_data=true

摄像头 index 说明：单臂链路用 left: 0 与 side: 2 两路，双臂链路用 left: 0 / right: 3 / side: 5 三路——顺序并非连续编号，是指导文档实测可用的插口位置，换机器后先逐个试出可用 index 再写进命令。

(a) 单臂数据采集工位全景：双路摄像头（左/侧）对准灰垫上的红方块与蓝碗，从臂在桌面待命

(b) 任务执行瞬间：从臂夹爪精准夹起红方块，绿盘在旁等待放入——每条 episode 都从相同摆位出发

图 5-1｜单臂数据采集实物照：Put red cube into plate 任务的初始摆位与执行瞬间（第 08 章）

对照图 5-1 记录初始摆位：方块与盘子的相对位置、桌面反光、摄像头角度三项要在所有 episode 中保持一致——摆位漂移是 EXP-02 loss 忽高忽低的常见隐形原因。

06动画演示：人在环数据流课段 4 · 示证新知 · 12 min

注意虚线回路：采集是"一条做完、复位、再做下一条"的循环，复位期保证每条 episode 从相同初始状态出发——这直接决定 EXP-02 训练时数据分布是否干净。

看动画时对照两条实线：紫色实线是串口指令流（人 → 从臂，60 Hz），绿色实线是视觉流（摄像头 → 数据集，30 fps）——两条流在同一时间轴上对齐落盘，才构成"图像 + 状态 + 动作"三元组。

07互动练习：采集参数估算器课段 7 · 应用新知 · 10 min

估算器的意义：把"录多久"换算成"坐多久"——按示例参数 50 组约 19 分钟纯任务时长，加上摆位与重录冗余，按半小时备课；若要 300 组消融数据（§9 ⑤），需按 2 小时以上排期。

08常见问题课段 8 · 融会贯通 · 13 min

• ✓串口打不开：先 sudo chmod 666 /dev/arm*；设备号变了就 ls /dev/arm* 重查。
• ✓双臂一动不动：多半没复制 4 份校准文件，或启动后没按回车；启动提示 Mismatch 时按 ENTER 使用已有校准文件。
• ✓显示 Mismatch between calibration values…：直接 ENTER（沿用 id 对应文件）；只有想重刷电机才输入 c。
• ✓退出时报 gRPC ERROR / winit DISPLAY / FATAL: exception not rethrown：清理期的正常噪音，确认已打印 Exiting 即可。
• ✓数据集是空的：检查 dataset.repo_id 命名、是否录入超过 episode_time_s 的时长，以及缓存目录 ~/.cache/huggingface/lerobot/<名>/<集>/。
• ✓摄像头 index 被占用：画面黑屏或启动报无法打开设备时，用 ls /dev/video* 核对，并关掉其他占用该 index 的预览程序（含上次未退净的采集终端）。
• ✓主从臂对调（动左出右）：校准文件复制或串口号弄混，核对 /dev/arm_slave_left|right 与 /dev/arm_master_left|right 不要交叉。

围绕启动、运行、收尾三个时段，把高频报错压成一张"望闻问切"表：

09拓展阅读课段 8 · 融会贯通

10思考题课段 8 · 融会贯通

答题提示：先在纸上画出两种摄像头的视野范围（手腕随关节转动、头顶固定俯视），再对照 §6 动画里"图像流"的落盘顺序作答；两题都要引用本页日志或截图里的具体证据。