INDUSTRY · CAT 3 / IND-01

具身智能端到端平台与基础

以 LZ-XL01 双臂具身智能实验平台为载体,从主机环境搭建、机械臂硬件组装、摄像头配置与主从臂校准,一路走到遥操作自检与故障排查——把"一台机器人从零点亮到能被你牵着手干活"的完整链路走通,为后续数据采集与端到端策略训练打下坚实地基。

32 学时 4 个实验 · 每实验 8 学时 LZ-XL01 双臂平台 TEAL 主题 · CAT 3 第 1 门
32总学时(4 实验 × 8)
14配套指导视频(mp4)
10参考指导文档章节
38插图与硬件实物图
Experiments

四个实验 · 从点亮平台到遥操作自检

课程按真实装配—配置—校准—验收的工作流递进。每个实验页均含学习目标、原理讲解、硬件材料、步骤实践、关键命令、SVG 动画、互动练习、常见问题、拓展挑战与思考题十大板块。

EXP-018 学时 · 环境 + 认知

主机环境搭建与硬件认知

基于 LZ-XL01 指导文档 第 00 · 01 章

在 Ubuntu 22.04 主机上装好 nvidia 驱动、Miniconda、LeRobot 0.4.1 与 udev 规则,认识从臂、主臂、摄像头三大硬件,理解"主机—双臂—三摄像头"的端到端连接拓扑。

首次课:装不完环境别急,四条 udev 规则是本课命门。
EXP-028 学时 · 组装(视频重点)

机械臂硬件组装与串口识别

基于 LZ-XL01 指导文档 第 02 · 03 章

主从臂卡钳固定、编号电机上臂、接电源与串口线,用 lerobot-find-port 找到每个 /dev/ttyACM* 并写成永久别名。本课配 9 段安装指导视频,是全课的视频重心。

9 段视频逐关节演示,边看边装,别省略编号步骤。
EXP-038 学时 · 摄像头 + 校准

摄像头配置与主从臂校准

基于 LZ-XL01 指导文档 第 04 · 05 章

三路摄像头直连找位、写相机 udev 别名;再对四条臂逐一做 lerobot-calibrate,录 2047 中位基准与全行程 MIN/POS/MAX,把"你的手"和"机器的手"映射到同一套坐标。

3 段校准讲解视频 + 实测数值表,误差超阈值就重校。
EXP-048 学时 · 遥操作 + 验收

遥操作自检与故障排查

基于 LZ-XL01 指导文档 第 06 · 07 · 14 · 15 章

单臂 60Hz / 双臂 / 带摄像头 32Hz 的遥操作验收,看清"人手→主臂→话题→从臂"的数据流;掌握权限、缓存、卡死三大故障处置与命令行脚本手册的 0~9 号脚本。

Ctrl+C 只能按一次;卡住了拔电源再插回。
Tech Stack

技术栈与工具链

全课围绕 NVIDIA GPU 主机 + Ubuntu 22.04 + LeRobot 0.4.1 展开,命令均可在 LZ-XL01 实机复现。

🐧Ubuntu 22.04 LTS主机操作系统
🎮NVIDIA 驱动 595-opennvidia-smi 验证
🐍Miniconda + Python 3.10conda env: lerobot
🤗LeRobot 0.4.1pip install -e .
🔌udev 规则/dev/arm_* · /dev/cam_*
🦾SO101 主从臂 × 4left/right · leader/follower
📷三路 USB 摄像头640×480@30 YUYV/MJPG
⌨lerobot CLIfind-port · calibrate · teleoperate
📋Bash 脚本手册0_config.yaml + 1~9 号脚本
🔴FFmpeg 封面生成视频 poster 抽帧
Learning Path

学习路径 · 32 学时怎么走

四个实验环环相扣:环境是地基,组装出实体,校准把双臂"对上表",遥操作完成最终验收。

WEEK 1 · EXP-01

点亮平台

装驱动 → 装 conda → 装 LeRobot → 写 4 条机械臂 + 3 条相机 udev 规则,验证 /dev/arm_* 与 /dev/cam_* 全部就位。

WEEK 2 · EXP-02

组装双臂

主臂卡钳固定桌面、从臂连小推车,编号电机按 Joint1~5 + Gripper 上臂,接好 5V/12V 电源与串口线,find-port 落别名。

WEEK 3 · EXP-03

标定对表

三摄像头锁定插口,四臂逐一 calibrate:先 2047 中位基准,再全行程录 MIN/POS/MAX,写入 JSON 校准文件。

WEEK 4 · EXP-04

遥操作验收

单臂 60Hz、带摄像头 32Hz、双臂 12 关节跑通三档验收,会处置权限 / 缓存 / 卡死三类故障,读懂 0~9 号脚本。

实验学时核心交付验收标准
EXP-01 平台搭建8环境 + udev 规则全部生效ls /dev/arm_* 与 /dev/cam_* 列出 4 + 3 项
EXP-02 硬件组装8四臂装配完成、串口别名固定find-port 输出并核对 ID_SERIAL_SHORT
EXP-03 摄像头与校准8三路画面正确 + 4 份 JSONcalibrate 产出 MIN/POS/MAX 且误差可接受
EXP-04 遥操作排查8三档遥操作全通 + 故障处置60Hz / 32Hz 日志出现 NORM 关节表
◆ 学习提示每实验页都提供"关键命令"板块,所有命令与参数均摘自 LZ-XL01 指导文档原章节,直接复制到 conda activate lerobot 环境即可运行,不需要自己改编。
Assessment

考核建议

过程性考核为主,重在动手可复现:能装、能接、能校、能排障,才为后续端到端策略训练做好准备。

维度占比观测点
环境搭建完整性25%驱动 / conda / LeRobot / udev 四类配置齐全,验证命令输出正确
组装与串口识别25%四臂装配牢固、插接顺序正确、别名与序列号一一对应
校准质量25%2047 中位与 MIN/POS/MAX 录齐,左右臂差异在正常阈值内
遥操作与排障日志25%三档遥操作达标,能独立处置权限、缓存、卡死三类故障
!注意事项实验中若出现 PermissionError: [Errno 13],先执行 sudo chmod 666 /dev/ttyACM*;录制阶段数据集名冲突要用新的 --dataset.repo_id 或清理对应缓存目录。
FAQ

常见疑问

问答
没有 LZ-XL01 实机能学吗?可以先通读四个实验页的原理、动画与命令板块建立完整心智模型,上机时对照操作;实机环节再补动手。
为什么每章要截图存到 images/?指导 PDF 里的终端输出与接线界面是排障时最常用的参照,随文插图便于对照真实现象。
视频为什么按实验分开?14 段指导视频按"装配 9 段 / 校准 3 段 / 遥操作 2 段"归到对应实验页,学到哪一步就看哪一段。
端到端的"端到端"指什么?指传感器感知到执行器动作之间不做人手拆解的中间模块;本课先把"端"(摄像头、机械臂)与"平台"打通。
Assets

素材资源清单

全课素材来自 LZ-XL01 指导文件 PDF 与指导视频:28 张接线/终端截图 + 6 张硬件实物图随文插图、14 段指导视频按实验归位并全部生成封面帧;EXP-01 的主机搭建流程已从网页卡片改写、硬件介绍不再直接贴 PDF 原文表格。另有课程级 shared 样式与脚本,均以相对路径引用,零外链依赖。

实验PDF 截图指导视频视频封面截图取材章节
EXP-01 平台搭建—(改网页卡片)+ 6 张硬件实物图——第 00 章《主机环境搭建》流程网页化 + 第 01 章《机器人硬件介绍》硬件实物图
EXP-02 硬件组装8 张9 段9 张第 02 章《硬件组装》· 第 03 章《机械臂串口》
EXP-03 摄像头与校准8 张3 段3 张第 04 章《摄像头》· 第 05 章《主从臂校准》
EXP-04 遥操作排查12 张2 段2 张第 06/07/14/15 章《单臂遥操作 · 双臂遥操作 · 故障排查 · 命令行脚本操作手册》
合计28 张接线/终端截图 + 6 张实物图14 段14 张10 个指导章节 · fig- 前缀 + poster 封面命名
RULE 1 · 素材三定律

shared 两文件

每课建 shared/ 目录(tutorial.css + tutorial.js);实验页 link 引入 + 内联 :root 主题覆盖 + 页尾交互脚本 + defer 引入 tutorial.js;目录页全内联、不引 shared。

RULE 2 · 视频归单实验

14 段 mp4 + 14 张封面

按"装配 9 段 / 校准 3 段 / 遥操作 2 段"用 Copy-Item 复制到对应实验 videos/(只复制不移动),并用 FFmpeg 抽首帧生成 -poster.jpg 作为播放器封面。

RULE 3 · 截图随文插图

28 张 fig- 前缀 PNG

pymupdf 渲染指导 PDF 中含终端输出与接线图的页,宽约 1400px,命名 fig-p章-页,全部以 figure + figcaption「图 N-M|说明」随文引用;EXP-01 流程与硬件介绍改为网页卡片呈现,不再贴原表/大段终端截图。

ind01-endtoend-platform/
├── index.html                  课程目录页(全内联 CSS,不引 shared)
├── shared/                     实验页共享素材
│   ├── tutorial.css            主题类与组件样式
│   └── tutorial.js             侧栏 scrollspy + reveal 动画
├── exp-01-platform-setup/
│   ├── index.html              十章节实验页(流程与硬件全部网页化)
│   └── images/                 6 张硬件实物图 photo- 前缀
├── exp-02-arm-assembly/
│   ├── index.html              十章节实验页
│   ├── images/                 fig-p02 / fig-p03 共 8 张截图
│   └── videos/                 9 段安装视频 + 9 张封面
├── exp-03-arm-calibration/
│   ├── index.html              十章节实验页
│   ├── images/                 fig-p04 / fig-p05 共 8 张截图
│   └── videos/                 3 段校准视频 + 3 张封面
└── exp-04-teleop-checkout/
    ├── index.html              十章节实验页
    ├── images/                 fig-p06 / p07 / p14 / p15 共 12 张截图
    └── videos/                 2 段遥操作视频 + 2 张封面
◆ 引用约定页面内所有图片、视频、样式均为相对路径(./images、./videos、../shared),不依赖任何外链;截图与视频均可脱离页面作为独立素材,复用于后续 IND-02「双臂采训推全流程」等课程。
IND-01 · 具身智能端到端平台与基础 32 学时 · 4 实验 · CAT 3 行业应用 · 基于 LZ-XL01 指导文档改编
IND-01 · 行业应用 CAT 3 · 本页仅用于课程教学 · 素材源自 LZ-XL01 指导文件 PDF 与指导视频