CATEGORY 1 · 核心课程 / CORE-05

机器人 机械臂应用与开发

7 个递进实验,从 URDF 建模与 Gazebo 仿真起步,穿透 1Mbps 串口协议与 PWM 舵机底层控制,贯通 ROS2 架构与动作回放,再沿正/逆运动学到解析 IK 解算,最终落地固定抓取与视觉动态抓取 —— 每个实验均配通俗原理讲解、SVG 动画演示与互动换算台。

📚 7 个实验 ⏱️ 32 学时 🤖 5 自由度机械臂 + 夹爪 · 实验箱 B2 / 小车 C1 双载台 🎯 前置:ROS2 基础
7递进实验
32总学时
3知识篇章
⭐1~3难度跨度
CHAPTER 1

第 1 章 · 建模与底层驱动

先让机械臂在数字世界"拥有身体"(URDF + RViz2/MoveIt2/Gazebo),再钻到最底层,用 pyserial 亲手组帧驱动真实舵机。

EXP-01⭐ · 4 学时

机械臂URDF模型与仿真控制

5 自由度机械臂的 link/joint 建模与 7 坐标系 TF 链,RViz2 可视化、MoveIt2 规划、Gazebo 物理仿真到 grasp_demo 抓取演示一条龙。

关键点 · display / demo / Gazebo 三级验证 · joint_state_publisher_gui 拖动关节 · TF 链 base → link → gripper
URDFTFMoveIt2Gazebo
👆 点击小节标题或右侧标签直达对应章节
EXP-02⭐⭐ · 4 学时

机械臂关节控制原理与应用

剥开 ROS2 的外壳直达硬件:1Mbps 串口裸机通信、0xAA55 帧头 + CRC8 校验、PWM 500~2500μs 舵机控制与动作序列录制导出。

关键参数 · 1000000 baud · CENTER_PWM=1500 · PWM_TO_RAD=0.002356 · 0xAA55 + CRC8 · interactive_mode
pyserialCRC8PWM 舵机interactive_mode
👆 点击小节标题或右侧标签直达对应章节
CHAPTER 2

第 2 章 · 运动学进阶

几何直觉先行:正运动学是"已知关节角求指尖",逆运动学是"想放哪反推关节角";先在 Web 仿真器里建立手感,再解析求解。

EXP-03⭐⭐ · 4 学时

正运动学基础

正运动学 FK:从底座一节节"转一下、伸一段",用 config.py 笛卡尔几何常量算指尖坐标(关节角 → 坐标,一对一定论),Web 仿真器拖关节滑块实测对账。

关键参数 · 关节轴 1×绕Z + 3×绕Y + 1×绕Z · L1/L2≈0.126 m · L_TCP≈0.151 m · localhost:8000/viewer
笛卡尔几何正运动学 FK关节轴分布Web 仿真
👆 点击小节标题或右侧标签直达对应章节
EXP-04⭐⭐⭐ · 4 学时

逆运动学基础与 IK 解算

先补 IK 原理(解析法三段式、DLS 数值法、雅可比与奇异位),再用 IK 库 API(solve_analytical_ik / fk_solve)做 FK/IK 闭环验证——实测 3/4 点位 FAIL、误差 18~23mm 待归因,配 --direct 实机与"理论链 vs 实机链"归因。

关键接口 · solve_analytical_ik(target, pitch) → IKSolution(q1~q5+branch+error) · fk_solve → 4×4 齐次矩阵 · 验收线 Avg<0.5 / Max<1.5 mm(当前 3/4 FAIL,以实测为准)
IKSolution API闭环验证误差归因DLS
👆 点击小节标题或右侧标签直达对应章节
CHAPTER 3

第 3 章 · 动作回放与抓取应用

把模型、协议与运动学串成系统:ROS2 节点拓扑勘察、YAML 动作回放、固定位姿抓取状态机,直到相机指哪抓哪的视觉动态抓取。

EXP-05⭐⭐ · 4 学时

ROS2 架构与动作回放

bringup 7~8 节点拓扑勘察、joint_command 弧度指令、action_player 节点回放 pick_and_place.yaml、play/next/stop 三服务与 servo_calib 零位校准。

关键点 · ros2 node/topic 勘察拓扑 · TF 链自检 · joint_command 弧度 vs PWM 两套单位 · Trajectory YAML 逐行回放
节点拓扑action_playerTrigger 服务软件 offset
👆 点击小节标题或右侧标签直达对应章节
EXP-06⭐⭐⭐ · 4 学时

逆运动学固定抓取

真实接口 set_pick_target / target_pose 与 pick·place Trigger 服务,离线预演、分步移动 _move_stepwise、六阶段抓取序列与抓取参数实测调优。

关键参数 · gripper_depth 默认 0.0(yaml 实配 −0.040,负值=抬高 40mm)· pre_grasp_height 0.03 · lift_height 0.05(源码未使用)· grasp_pitch 180°(四元数 {0,1,0,0} 夹爪朝下)· 放置点 (0.059,0.074,0.219)
抓取状态机分步移动软限位抓取参数调优
👆 点击小节标题或右侧标签直达对应章节
EXP-07⭐⭐⭐ · 8 学时

视觉动态抓取

visual_grasp.launch 一键拉起 5 节点:HSV 颜色分割 + 深度反投影 + TF 变换定位目标,look-then-move 策略与五状态机一键 start/confirm/skip/abort。

关键参数 · HSV 默认红色两段 (0,100,80)~(15,255,255) ∪ (160,100,80)~(180,255,255) · fx=fy=614 · 深度 uint16 mm ÷1000 · OBSERVE<1s / PICK<8s · 成功率 >85%
HSV 分割深度反投影TF 定位状态机
👆 点击小节标题或右侧标签直达对应章节
CALIBRATION TRACK · 综合专题(课程收尾)

标定专题:五个部分,让机械臂「对齐世界」

第 3 章之后的收尾块:从"为什么会默默抓偏"讲起,按 零位 → TCP 四点法 → 相机内参 → 手眼 → 抓取验证 五步走完完整标定链——工具链全部出自 ros2_ws 实仓(calibration / eye_hand_calibration 两包),每部分配案例与可调交互,最后把 5mm、>85% 串成一条合格链。

CAL⭐⭐ · 2~4 学时 · 设计性

标定专题 · 五个部分

① 给每个关节找回"真零点",② 用四点法把工具尖端钉进数学模型,③ 复核像素到毫米的尺子,④ 解出相机装在哪(AX=XB),⑤ 按依赖顺序做五项绿勾的真机抓取验收——顺序不可倒。

五个部分 · servo_calib 零位(PWM−1500)· 四点法 TCP(FINGERTIP 0.033 出处)· fx=614 · AX=XB / Tsai-Lenz(验收 5mm)· 真机成功率 >85%
机械臂零位标定TCP 四点法相机内参标定手眼标定抓取验证
👆 点击部分标题或右侧标签直达专题页对应模块
BRIDGE · 通往具身智能

学完这门课,离 VLA 还有多远?

具身智能(VLA:视觉-语言-动作模型)是 2025-2026 最热的方向。它并不神秘——你在这门课里手写的每一环,正是 VLA 要"学会替代或指挥"的模块。先看清两种答法的关系,再决定往哪深造。

VLA·A对照读法

一帧画面两条路线:手写栈 vs 端到端

本课 EXP-07 的答法:HSV 分割 + 深度反投影 + TF 变换读懂"红色物块在哪"(感知)→ IK 与轨迹规划算出"胳膊怎么弯"(规划)→ 六阶段状态机 + PWM 把动作稳稳执行(控制)——每一环都是人写的规则,黑盒度低、可分段验收。VLA 的答法:图像 + 自然语言指令("把红色物块装进箱子")直接进一个大模型,输出动作序列——规则没了,换来的是零样本泛化:没见过的物块、没写过的指令也敢试。

逐环对应 · 感知头 ≈ HSV+深度+TF 链 · 动作序列 ≈ 六阶段抓取状态机 · 指令解析 ≈ 语音唤醒"小飞小飞"的角色升级(从关键词到语义理解)
感知规划状态机端到端
VLA·B诚实的行业站位

别急着丢掉经典栈——它是 VLA 的地基

2026 年的真实产线上,"经典栈打底 + 学习模块增强"仍是主流:VLA 擅长开放环境里的"看懂与决策",但 5mm 级定位精度、>85% 抓取验收、安全红线(急停/力矩释放)这些硬指标,靠的仍是可复现、可分段排查的工程链路——也就是你刚学完的这套。常见分工:VLA 出"抓哪、怎么摆",本课的 IK、标定与状态机负责"稳稳执行";奇异位、手眼标定这些概念在学习式方案里一个都躲不掉。

一句话 · VLA 决定"上限"(能听懂多复杂的话),经典栈决定"下限"(多稳、多准、敢不敢上产线)——两者都要会,才接得住具身智能岗的面试。
sim-to-real安全验收精度归因
VLA·C下一步路径

从这门课出发的三级台阶

① 数据意识(本周就能做):用现有真机链路采集"物块位姿 → 动作"演示数据——你已会的 rosbag/仿真器就是采集器。② 仿真里跑通语言→抓取:Hugging Face LeRobot(ACT/Diffusion Policy 等开源实现)或 OpenVLA 推理,在 MuJoCo/Gazebo 里感受端到端策略的强弱点。③ 补学习基础:强化学习入门(Gym 经典控制)+ BERT/VLM 结构科普,再回头看 π0 / GR00T 级别的工作。

衔接锚点 · M5 六阶段抓取(principles 3D 实验台)= 你要教给模型的"动作语言" · EXP-03/04 运动学 = 策略输出后的执行层
LeRobotOpenVLAACT / π0RL 入门
🌐 本页离线可用,外部项目名仅作学习路标——联网后搜 “huggingface lerobot” “openvla” 即达官方仓库
TECH STACK

技术栈与硬件平台

全课程围绕 ROS2 Humble + 具身智能实验箱 B2 / 机器人小车 C1 展开,协议、参数均来自真实源码与实测基线。

URDF / TF 串口协议 1Mbps 0xAA55 帧头 + CRC8 PWM 舵机 500~2500μs 正运动学 FK 逆运动学 IK ROS2 action_player 回放 MoveIt2 / Gazebo HSV + 深度 + TF 视觉抓取 状态机 + 服务化控制 Web 运动学仿真器 实验箱 B2 / 机器人小车 C1 载台