主机环境搭建与硬件认知
在 Ubuntu 22.04 主机上装好 nvidia 驱动、Miniconda、LeRobot 0.4.1 与 udev 规则,认识从臂、主臂、摄像头三大硬件,理解"主机—双臂—三摄像头"的端到端连接拓扑。
- 01学习目标与十章节导航★目标
- 02原理:端到端平台连接拓扑★★原理
- 03步骤:驱动 / conda / LeRobot 安装★★★实践
- 06动画:主机 + 双臂 + 摄像头拓扑★★动画
- 07互动:udev 规则配对自测★★互动
- 10思考题:为何要固定插口★思考
以 LZ-XL01 双臂具身智能实验平台为载体,从主机环境搭建、机械臂硬件组装、摄像头配置与主从臂校准,一路走到遥操作自检与故障排查——把"一台机器人从零点亮到能被你牵着手干活"的完整链路走通,为后续数据采集与端到端策略训练打下坚实地基。
课程按真实装配—配置—校准—验收的工作流递进。每个实验页均含学习目标、原理讲解、硬件材料、步骤实践、关键命令、SVG 动画、互动练习、常见问题、拓展挑战与思考题十大板块。
在 Ubuntu 22.04 主机上装好 nvidia 驱动、Miniconda、LeRobot 0.4.1 与 udev 规则,认识从臂、主臂、摄像头三大硬件,理解"主机—双臂—三摄像头"的端到端连接拓扑。
主从臂卡钳固定、编号电机上臂、接电源与串口线,用 lerobot-find-port 找到每个 /dev/ttyACM* 并写成永久别名。本课配 9 段安装指导视频,是全课的视频重心。
三路摄像头直连找位、写相机 udev 别名;再对四条臂逐一做 lerobot-calibrate,录 2047 中位基准与全行程 MIN/POS/MAX,把"你的手"和"机器的手"映射到同一套坐标。
单臂 60Hz / 双臂 / 带摄像头 32Hz 的遥操作验收,看清"人手→主臂→话题→从臂"的数据流;掌握权限、缓存、卡死三大故障处置与命令行脚本手册的 0~9 号脚本。
全课围绕 NVIDIA GPU 主机 + Ubuntu 22.04 + LeRobot 0.4.1 展开,命令均可在 LZ-XL01 实机复现。
四个实验环环相扣:环境是地基,组装出实体,校准把双臂"对上表",遥操作完成最终验收。
装驱动 → 装 conda → 装 LeRobot → 写 4 条机械臂 + 3 条相机 udev 规则,验证 /dev/arm_* 与 /dev/cam_* 全部就位。
主臂卡钳固定桌面、从臂连小推车,编号电机按 Joint1~5 + Gripper 上臂,接好 5V/12V 电源与串口线,find-port 落别名。
三摄像头锁定插口,四臂逐一 calibrate:先 2047 中位基准,再全行程录 MIN/POS/MAX,写入 JSON 校准文件。
单臂 60Hz、带摄像头 32Hz、双臂 12 关节跑通三档验收,会处置权限 / 缓存 / 卡死三类故障,读懂 0~9 号脚本。
| 实验 | 学时 | 核心交付 | 验收标准 |
|---|---|---|---|
| EXP-01 平台搭建 | 8 | 环境 + udev 规则全部生效 | ls /dev/arm_* 与 /dev/cam_* 列出 4 + 3 项 |
| EXP-02 硬件组装 | 8 | 四臂装配完成、串口别名固定 | find-port 输出并核对 ID_SERIAL_SHORT |
| EXP-03 摄像头与校准 | 8 | 三路画面正确 + 4 份 JSON | calibrate 产出 MIN/POS/MAX 且误差可接受 |
| EXP-04 遥操作排查 | 8 | 三档遥操作全通 + 故障处置 | 60Hz / 32Hz 日志出现 NORM 关节表 |
conda activate lerobot 环境即可运行,不需要自己改编。过程性考核为主,重在动手可复现:能装、能接、能校、能排障,才为后续端到端策略训练做好准备。
| 维度 | 占比 | 观测点 |
|---|---|---|
| 环境搭建完整性 | 25% | 驱动 / conda / LeRobot / udev 四类配置齐全,验证命令输出正确 |
| 组装与串口识别 | 25% | 四臂装配牢固、插接顺序正确、别名与序列号一一对应 |
| 校准质量 | 25% | 2047 中位与 MIN/POS/MAX 录齐,左右臂差异在正常阈值内 |
| 遥操作与排障日志 | 25% | 三档遥操作达标,能独立处置权限、缓存、卡死三类故障 |
PermissionError: [Errno 13],先执行 sudo chmod 666 /dev/ttyACM*;录制阶段数据集名冲突要用新的 --dataset.repo_id 或清理对应缓存目录。| 问 | 答 |
|---|---|
| 没有 LZ-XL01 实机能学吗? | 可以先通读四个实验页的原理、动画与命令板块建立完整心智模型,上机时对照操作;实机环节再补动手。 |
| 为什么每章要截图存到 images/? | 指导 PDF 里的终端输出与接线界面是排障时最常用的参照,随文插图便于对照真实现象。 |
| 视频为什么按实验分开? | 14 段指导视频按"装配 9 段 / 校准 3 段 / 遥操作 2 段"归到对应实验页,学到哪一步就看哪一段。 |
| 端到端的"端到端"指什么? | 指传感器感知到执行器动作之间不做人手拆解的中间模块;本课先把"端"(摄像头、机械臂)与"平台"打通。 |
全课素材来自 LZ-XL01 指导文件 PDF 与指导视频:28 张接线/终端截图 + 6 张硬件实物图随文插图、14 段指导视频按实验归位并全部生成封面帧;EXP-01 的主机搭建流程已从网页卡片改写、硬件介绍不再直接贴 PDF 原文表格。另有课程级 shared 样式与脚本,均以相对路径引用,零外链依赖。
| 实验 | PDF 截图 | 指导视频 | 视频封面 | 截图取材章节 |
|---|---|---|---|---|
| EXP-01 平台搭建 | —(改网页卡片)+ 6 张硬件实物图 | — | — | 第 00 章《主机环境搭建》流程网页化 + 第 01 章《机器人硬件介绍》硬件实物图 |
| EXP-02 硬件组装 | 8 张 | 9 段 | 9 张 | 第 02 章《硬件组装》· 第 03 章《机械臂串口》 |
| EXP-03 摄像头与校准 | 8 张 | 3 段 | 3 张 | 第 04 章《摄像头》· 第 05 章《主从臂校准》 |
| EXP-04 遥操作排查 | 12 张 | 2 段 | 2 张 | 第 06/07/14/15 章《单臂遥操作 · 双臂遥操作 · 故障排查 · 命令行脚本操作手册》 |
| 合计 | 28 张接线/终端截图 + 6 张实物图 | 14 段 | 14 张 | 10 个指导章节 · fig- 前缀 + poster 封面命名 |
每课建 shared/ 目录(tutorial.css + tutorial.js);实验页 link 引入 + 内联 :root 主题覆盖 + 页尾交互脚本 + defer 引入 tutorial.js;目录页全内联、不引 shared。
按"装配 9 段 / 校准 3 段 / 遥操作 2 段"用 Copy-Item 复制到对应实验 videos/(只复制不移动),并用 FFmpeg 抽首帧生成 -poster.jpg 作为播放器封面。
pymupdf 渲染指导 PDF 中含终端输出与接线图的页,宽约 1400px,命名 fig-p章-页,全部以 figure + figcaption「图 N-M|说明」随文引用;EXP-01 流程与硬件介绍改为网页卡片呈现,不再贴原表/大段终端截图。
ind01-endtoend-platform/
├── index.html 课程目录页(全内联 CSS,不引 shared)
├── shared/ 实验页共享素材
│ ├── tutorial.css 主题类与组件样式
│ └── tutorial.js 侧栏 scrollspy + reveal 动画
├── exp-01-platform-setup/
│ ├── index.html 十章节实验页(流程与硬件全部网页化)
│ └── images/ 6 张硬件实物图 photo- 前缀
├── exp-02-arm-assembly/
│ ├── index.html 十章节实验页
│ ├── images/ fig-p02 / fig-p03 共 8 张截图
│ └── videos/ 9 段安装视频 + 9 张封面
├── exp-03-arm-calibration/
│ ├── index.html 十章节实验页
│ ├── images/ fig-p04 / fig-p05 共 8 张截图
│ └── videos/ 3 段校准视频 + 3 张封面
└── exp-04-teleop-checkout/
├── index.html 十章节实验页
├── images/ fig-p06 / p07 / p14 / p15 共 12 张截图
└── videos/ 2 段遥操作视频 + 2 张封面