EMBODIED AI · TRAINING PROGRAM

具身智能课程 教程首页

一站渐进式学习方案,从核心课程到综合项目再到行业应用,15 门课程的渐进式学习地图,
设备适配(实验箱 B2 / 小车 C1 / 聆动 LDT-01 / LZ-XL01 / 人形导览 G1 / 巡检机器狗 Go2)。

🧭 3 大方案分类 📚 15 门课程 ⏱️ 576 学时
15
门课程
576
总学时
107
个实验
6
类实训设备

CAT 1具身智能核心课程

方案 1 · 实验箱 B2 + 小车 C1 · 5 门 / 208 学时

打牢地基的五门主干课:ROS2 通信 → 视觉感知 → 语音与大模型 → SLAM 导航 → 机械臂控制。除「SLAM 与自主导航」仅适配小车 C1 外,其余四门同时适配实验箱 B2 与小车 C1。

CORE-01

机器人 ROS2 应用与开发

解决机器人"信息传递"的问题。从话题/服务、坐标系到传感器实验(MQ5/指纹/RFID),打牢各处信息互通与分布式计算的地基。

ROS2话题/服务实验箱 B2 · 小车 C1
48 学时 · 20 实验进入课程 →
CORE-02

机器人视觉应用与开发

解决机器人"看得懂"的问题。从 OpenCV 颜色识别到 YOLOv8 缺陷检测、DeepSORT 跟踪和深度测距等,让相机输出能直接驱动决策。

OpenCVYOLOv8NPU 部署实验箱 B2 · 小车 C1
48 学时 · 12 实验进入课程 →
CORE-03

机器人自然语言交互应用

解决机器人"听得懂人话"的问题。从六麦阵列唤醒、ASR 语音识别、TTS 合成,到端到端对话与 LLM/VLM 意图解析,让语音指令变成可执行动作。

LLM/VLM离线语音意图解析实验箱 B2 · 小车 C1
32 学时 · 6 实验进入课程 →
CORE-04

机器人 SLAM 与自主导航

解决机器人"知道我在哪、走到哪"的问题。从 SLAM 激光建图、AMCL 粒子滤波定位到 Nav2 路径规划,独立完成 A 点到 B 点的自主导航与动态避障。

SLAMNav2AMCL仅小车 C1
48 学时 · 7 实验进入课程 →
CORE-05

机器人机械臂应用与开发

解决机器人"怎么把东西抓住"的问题。从 URDF 仿真与 MoveIt2、1Mbps 串口底层协议到 FK/IK 运动学,完成零位校准、实机 IK 解算与视觉动态抓取。

MoveIt2IK 解算串口协议实验箱 B2 · 小车 C1
32 学时 · 7 实验进入课程 →

CAT 2具身智能综合案例

方案 2 · 智慧工厂 / 智慧交通 / 监护 / 追踪场景 · 5 门 / 208 学时

五个大型综合案例:智慧工厂装货分拣码垛综合项目(实验箱 B2)、机器人小车智能工厂与机器人小车智慧交通综合案例(小车 C1)、老人跌倒监护(实验箱 B2 + 小车 C1)与通用目标追踪(B2 + C1)。卡片标注各自适配的设备。

CASE-01

智慧工厂装货分拣码垛综合项目

eai_factory 语音 + 大模型驱动智慧工厂:装货 / 分拣 / 码垛闭环,联动雷达急停与安全联锁(原「机器人大模型综合应用」)。

大模型安全联锁实验箱 B2
48 学时 · 9 实验进入课程 →
CASE-02

机器人小车智能工厂综合项目

以小车 C1 为载体的智能工厂全程实训主线(EXP007):建图导航、视觉抓取、离线语音大模型到四链路全闭环。

综合主线四链路仅小车 C1
32 学时 · 4 实验进入课程 →
CASE-03

老人跌倒监护综合项目

YOLOv8 人体检测 + BlazePose 关键点 + 六状态机判别跌倒,联动 Qwen3.5 RKLLM 端侧告警,覆盖 9 个完整实验(EXP006a)。

跌倒检测RKLLM 告警实验箱 B2 · 小车 C1
48 学时 · 9 实验进入课程 →
CASE-04

通用目标追踪综合项目

LLF 轻量特征 + VLM 语义选靶的通用目标追踪全链路,覆盖相机标定到自主跟拍的 9 个完整实验(EXP006b)。

目标追踪VLM 选靶实验箱 B2 · 小车 C1
48 学时 · 9 实验进入课程 →
CASE-05

机器人小车智慧交通综合项目

小车 C1 在智慧交通沙盘上的自主通行主线(EXP008):沙盘建图与语义标注、路口交通视觉感知、红绿灯口自主通行与智能泊车四实验贯通 32 学时。

交通感知自主通行仅小车 C1
32 学时 · 4 实验进入课程 →

CAT 3具身智能行业应用

方案 3 · 端到端双臂 + 四足巡检 · 5 门 / 160 学时

面向真实行业的端到端落地方向:双臂平台基础与"采集 → 训练 → 推理"全流程,工厂分拣与家庭整理两大场景案例,以及宇树 Go2 Edu 四足工业巡检。

IND-01

具身智能端到端平台与基础

主机环境搭建、平台一键启停自检、主从臂校准与遥操作自检——进入端到端世界的第一门课(LZ-XL01)。

主从双臂遥操作LZ-XL01
32 学时 · 4 实验进入课程 →
IND-02

双臂采训推全流程(ACT / VLA)

独立完成遥操作采集 → LeRobot v3 转换 → ACT/VLA 训练 → 真机推理复现闭环,理解两大主流策略差异。

ACTVLA显存管理
32 学时 · 4 实验进入课程 →
IND-03

物料分拣应用场景

聆动工厂场景:双臂分工采集(左黑件入左格 / 右银件入右格),训练后真机自主分拣复现。

双臂协同工厂分拣LDT-01
32 学时 · 4 实验进入课程 →
IND-04

家庭整理应用场景

聆动家庭场景:左手开盖 → 右手取物入罐 → 左手盖盖,完整收纳闭环 + 摆放偏移鲁棒性评估。

任务闭环鲁棒性LDT-01
32 学时 · 4 实验进入课程 →
IND-05

工业巡检应用场景(宇树 Go2 Edu)

3D 激光建图 → AMCL/Nav2 多点巡检 → YOLOv8 表计识别 → 自主回充与巡检报告的完整四足闭环。

四足巡检YOLOv8多点导航
32 学时 · 4 实验进入课程 →

TECH技术栈总览

按「从底到上」六层梳理,15 门课程用到的技术都能在某一层里找到位置。

硬件平台HARDWARE 课程跑在哪些设备上
RK3576 + 6TOPS NPU 实验箱 B2 小车 C1 LDT-01 双臂平台 LZ-XL01 主从臂 LZ-XL01 开源双臂 宇树 G1 人形 宇树 Go2 四足 讯飞智能语音背包 讯飞六麦阵列 COIN-D6 激光雷达 HP60C RGB-D 相机 MQ5 · 指纹 · RFID Livox MID-360 RealSense D435i
系统底座FOUNDATION 整套课程的统一底座
ROS 2 Humble DDS 通信 话题 / 服务 / 动作 TF2 坐标变换 URDF / Xacro Gazebo / RViz2 Linux / SSH 部署
感知与定位PERCEPTION 让机器人看得见、知道自己在哪
OpenCV HSV 色彩空间 轮廓拟合 YOLOv8 检测 / 分割 DeepSORT 跟踪 Kalman / EKF 状态估计 MediaPipe SLAM Toolbox AMCL 粒子滤波 LIO-SAM / FAST-LIO 深度测距与点云
决策与规划DECISION 知道要做什么、怎么走过去
Nav2 路径规划 多点导航 动态避障 MoveIt2 FK / IK 运动学 抓取位姿规划 安全联锁 状态机与任务编排
模型与算法MODELS AI 能力从哪来
RKNN / NPU 部署 YOLOv5 / v8 量化 LLM 意图解析 VLM 视觉问答 RKLLM 本地推理 离线语音 KWS / ASR / TTS ACT 模仿学习 VLA 视觉语言动作 Learning To Drive 一体策略
训练与仿真TRAINING 策略怎么练出来、怎么落到实机
LeRobot v3 数据采集与回放 ACT / Diffusion Policy 显存管理与批训练 AMASS 动作数据集 GMR 动作重定向 BeyondMimic Isaac Sim / Isaac Lab MuJoCo Sim2Real Unitree SDK
课程对应设备 实验箱 B2 小车 C1 LDT-01 LZ-XL01 人形导览 G1 巡检机器狗 Go2