机器人 ROS2 应用与开发
解决机器人"信息传递"的问题。从话题/服务、坐标系到传感器实验(MQ5/指纹/RFID),打牢各处信息互通与分布式计算的地基。
一站渐进式学习方案,从核心课程到综合项目再到行业应用,15 门课程的渐进式学习地图,
设备适配(实验箱 B2 / 小车 C1 / 聆动 LDT-01 / LZ-XL01 / 人形导览 G1 / 巡检机器狗 Go2)。
打牢地基的五门主干课:ROS2 通信 → 视觉感知 → 语音与大模型 → SLAM 导航 → 机械臂控制。除「SLAM 与自主导航」仅适配小车 C1 外,其余四门同时适配实验箱 B2 与小车 C1。
解决机器人"信息传递"的问题。从话题/服务、坐标系到传感器实验(MQ5/指纹/RFID),打牢各处信息互通与分布式计算的地基。
解决机器人"看得懂"的问题。从 OpenCV 颜色识别到 YOLOv8 缺陷检测、DeepSORT 跟踪和深度测距等,让相机输出能直接驱动决策。
解决机器人"听得懂人话"的问题。从六麦阵列唤醒、ASR 语音识别、TTS 合成,到端到端对话与 LLM/VLM 意图解析,让语音指令变成可执行动作。
解决机器人"知道我在哪、走到哪"的问题。从 SLAM 激光建图、AMCL 粒子滤波定位到 Nav2 路径规划,独立完成 A 点到 B 点的自主导航与动态避障。
解决机器人"怎么把东西抓住"的问题。从 URDF 仿真与 MoveIt2、1Mbps 串口底层协议到 FK/IK 运动学,完成零位校准、实机 IK 解算与视觉动态抓取。
五个大型综合案例:智慧工厂装货分拣码垛综合项目(实验箱 B2)、机器人小车智能工厂与机器人小车智慧交通综合案例(小车 C1)、老人跌倒监护(实验箱 B2 + 小车 C1)与通用目标追踪(B2 + C1)。卡片标注各自适配的设备。
eai_factory 语音 + 大模型驱动智慧工厂:装货 / 分拣 / 码垛闭环,联动雷达急停与安全联锁(原「机器人大模型综合应用」)。
以小车 C1 为载体的智能工厂全程实训主线(EXP007):建图导航、视觉抓取、离线语音大模型到四链路全闭环。
YOLOv8 人体检测 + BlazePose 关键点 + 六状态机判别跌倒,联动 Qwen3.5 RKLLM 端侧告警,覆盖 9 个完整实验(EXP006a)。
LLF 轻量特征 + VLM 语义选靶的通用目标追踪全链路,覆盖相机标定到自主跟拍的 9 个完整实验(EXP006b)。
小车 C1 在智慧交通沙盘上的自主通行主线(EXP008):沙盘建图与语义标注、路口交通视觉感知、红绿灯口自主通行与智能泊车四实验贯通 32 学时。
面向真实行业的端到端落地方向:双臂平台基础与"采集 → 训练 → 推理"全流程,工厂分拣与家庭整理两大场景案例,以及宇树 Go2 Edu 四足工业巡检。
主机环境搭建、平台一键启停自检、主从臂校准与遥操作自检——进入端到端世界的第一门课(LZ-XL01)。
独立完成遥操作采集 → LeRobot v3 转换 → ACT/VLA 训练 → 真机推理复现闭环,理解两大主流策略差异。
聆动工厂场景:双臂分工采集(左黑件入左格 / 右银件入右格),训练后真机自主分拣复现。
聆动家庭场景:左手开盖 → 右手取物入罐 → 左手盖盖,完整收纳闭环 + 摆放偏移鲁棒性评估。
3D 激光建图 → AMCL/Nav2 多点巡检 → YOLOv8 表计识别 → 自主回充与巡检报告的完整四足闭环。
按「从底到上」六层梳理,15 门课程用到的技术都能在某一层里找到位置。