体感控制：把 33 个关节翻译成两条速度指令

01目标：抬左手就左转，松手就停

02问题：从「你抬左手」到「车左转」，中间有五段

隔空开车听着简单：抬手、车转。可从「画面里一只手举起来了」到「底盘收到角速度」，中间要过五道手：

三个问号拆成三个具体问题：

① 33 个点，凭什么变成「举手」这一个结论？

② 蹲下时也举着手，算前进还是后退？

③ 明明判出 Turn Left，为什么车一动不动？

03现象：同一张图跑出 Action: Turn Left，可车一动不动

🎬 现象速览 · 30 秒先看效果

你会看到：一张双栏图，右栏火柴人举着右手，底部状态栏写 FPS: 0 Action: Turn Left；终端同时打印 [pose_control] action: turn_left (Turn Left)。而底盘没有任何动静 —— 因为发布开关默认关着。

怎么跑出来：进项目根，加 PYTHONPATH，用模块方式跑单图。

cd ~/ros2_ws/src/xflz_eai_car1/vision/11_pose_control
export PYTHONPATH=$PWD/car1_pose_control
python -m pose_control_core.demo_image --config config/pose_control_config.yaml --save out.jpg

[pose_control] action: turn_left (Turn Left) ← 打开 out.jpg：右栏火柴人举手，底部 Action: Turn Left ← 底盘不动：publish_cmd_vel 默认 false

🔍 看什么：三件事，缺一不可。

• 动作名是英文的 —— 状态栏写 Turn Left 而不是「左转」。因为 cv2.putText 不带中文字形，写中文会变成一串问号。这是工程上真实存在的小坑。
• 「他的右手」被判成 Turn Left —— 站在人的视角，右手举起是「向右」；但机器看的是画面坐标：这只手在画面左半边，所以算左。左右的定义要先说清，否则整条规则都反。
• 没有速度输出 —— 状态栏只有动作名，没有任何 m/s。这就是第 ⑤ 段被关掉的样子。

这就是本实验最终要呈现的现象。第 05 节会让你亲手改阈值，把同一个姿势判成不同结果 —— 那才算真懂规则。

04原理：三关：归一化、比大小、定优先级

三步回答第 02 节的三问：① 点怎么变结论 → 步骤 2；② 蹲下又举手算谁 → 步骤 3 的优先级；③ 为什么车不动 → 步骤 4。

1为什么第一件事是除以 640 和 480？

吃什么：33×4 的像素关键点 + 帧尺寸。做什么：把 x 除以宽、y 除以高，得到 0~1 的归一化坐标。吐什么：同一套关键点，但「大小无关」了。

因为阈值必须和分辨率解耦。hip.y > 0.72 这句话的意思是「髋部到了画面下方 28% 的位置」；如果直接写像素，换 1280×720 的相机，同一个 345 就完全不是那个意思了。

动它会怎样：这一步没有旋钮，但漏了它，后面所有阈值都只对当前分辨率有效 —— 这是「本地能跑、换设备就废」的典型成因。

2三条比较，各自在比什么？

全部用归一化后的 y（越小越靠上），只比大小，不做任何形状判断：

• 下蹲：两个髋关节里较低的那个，y 是否超过 0.72。用 max 是因为侧身时两点高度不同，取更低的那个更保守。
• 举手：手腕 y 是否比同侧肩膀的 y 小 0.08 以上。减 0.08 是为了避开「手自然下垂时略微抬高」的抖动区，不然肩膀一动就误判举手。
• 眼睛不看：注意这套规则完全没用到脸或手型 —— 33 点里它只用 6 个（髋 2、肩 2、腕 2）。

动它会怎样：SQUAT_HIP_Y 调小（0.6）→ 稍微屈膝就判后退；HAND_UP_DELTA 调大（0.2）→ 手要举得更高才算数。两个阈值决定「这套动作好不好做」。

3同时满足好几条，听谁的？

这是第 02 节第二问的答案，也是本页最容易写错的地方：顺序就是语义。

if 髋不够高 believe → return BACKWARD
if 左手 且 右手 都高   → return FORWARD
if 只有左手高         → return TURN_LEFT
if 只有右手高         → return TURN_RIGHT
return STOP

源码里的写法与这五步完全一致（判断链 + 提前 return）。所以：

• 蹲下 + 双手举高 → Backward（第一条就命中了）。
• 双手都高 → Forward；只举一只手 → 转向，不是前进。
• 髋部 vis < 0.5 → 直接 Stop，后面几条都不看。

动它会怎样：把优先级换个顺序（比如先判单手），蹲下时就会变成转圈 —— 因为蹲下的人往往手也抬着。规则顺序是设计出来的，不是随手写的。

4判出来了，为什么车不动？

因为「判定」和「执行」是两个开关。配置里 publish_cmd_vel: false 是默认值，action 会照常输出到状态栏与终端，但不会发布速度话题。

这是有意的安全设计：调规则时人常常做出各种奇怪姿势，如果判定错就真发速度，车会突然冲出去。先在仿真里验方向、再谈接底盘，是这门课反复强调的顺序。

动它会怎样：改成 true 并接上底盘，一次误判就是一次真实位移 —— 这也是为什么页面不给你「一键开启」的按钮。

先认识 5 个词

只看第 2、5 两列：第 2 列是数据形态，第 5 列是你能拧的旋钮。第 4 行请谨慎对待 —— 那是唯一会动到物理世界的旋钮。

05实操：单图看判定 / 海龟验方向 / 改规则

命令与原理的对应关系。

1. 单图看判定，先信「判定」这一层约 3 分钟

   命令见第 03 节。判据两条：状态栏的动作名，和终端那一行。

   [pose_control] action: turn_left (Turn Left) 状态栏：FPS: 0 Action: Turn Left

   再换一张举手方向相反的照片（或拍一张自己），确认判出来是 Turn Right —— 左右搞反是这条链最常见的坑。

2. 用海龟验方向，别用车约 6 分钟

   打开 publish_cmd_vel 之前，先用 turtlesim 确认「左转」在速度里到底是哪个符号：

   source /opt/ros/humble/setup.bash
   ros2 run turtlesim turtlesim_node

   弹出海龟窗口（板上桌面或 noVNC）

   ros2 topic pub --once /turtle1/cmd_vel geometry_msgs/msg/Twist "{linear: {x: 0.0}, angular: {z: 0.6}}"

   海龟原地逆时针转 —— 正 z 是左转

   这一步把「动作名 → 速度符号」的映射钉死。接底盘前必须先过这一关。

3. 改一个阈值，看判定怎么切约 8 分钟

   在 actions.py 里把 SQUAT_HIP_Y 从 0.72 改成 0.95 后重跑单图：站姿的髋部永远到不了 0.95，于是「下蹲」这一档被彻底关掉。

   再把 HAND_UP_DELTA 从 0.08 改成 0.30 —— 同一张照片里的手举得不够高，动作会从 Turn Left 掉回 Stop。这两次改动让你确认：阈值就是这套系统的「性格」。

你该看到的画面

踩坑速查

请阅读这个体感控制项目的模块：pose_control_core/actions.py、engine.py、pose.py、view.py、demo_image.py、pose_control_node.py。
它们共同完成「姿态关键点 → 动作名 → 速度指令」。
请输出一张表，每行一个模块，四列：模块名 / 一句话职责 / 被谁调用 / 从哪个配置项取值。
关键函数标行号；不确定处请明说。

请为 actions.classify_action 画一张流程图。
必须体现：像素如何归一化；髋部可见度不足时如何提前返回 Stop；三条判断的先后顺序（下蹲 / 双手 / 单手）以及为什么这个顺序重要。
每个判断框写出完整的比较表达式。

请为节点模式画一张时序图，参与者：相机话题、姿态引擎、classify_action、状态栏绘制、cmd_vel 发布（受 publish_cmd_vel 控制）、turtlesim 或底盘。
标出判定结果的发布频率，以及 publish_cmd_vel=false 时链路上哪一段被断开。

06互动：拖三个高度，看五档动作怎么切

📌 这一节是「掌握检查」：亲手改一个参数，看现象是否朝你预期的方向变，还要能说出为什么 —— 说得出，才算掌握。

规则只有三条、优先级四层，但「谁先命中」不看一遍永远记不住。这里把三个高度交给你：左腕、右腕、髋部。判定完全照 classify_action 的写法重算。

怎么读出规律：先把髋拉到 0.9（蹲下）—— 无论手怎么放都判 Backward，这就是优先级第一的威力；再把髋拉回 0.6、两只手都拉到 0.3 —— 变 Forward；只抬起一只 —— 变成对应方向的转向。

07验证：三道小测

08章节总结：把 33 个关节翻成两条速度数

这页讲了什么，它们怎么串起来

前置依赖 · 缺一样就跑不起来

这套代码用在哪儿

• 隔空操控：展厅里的机械臂、AGV 的粗略遥控，人不必接触设备。
• 安全动作门：车间里「蹲下」= 进入检修姿态，自动降速或停机 —— 这类规则简单可靠，比语义模型更适合安全回路。
• 康复训练打分：把「蹲到位没有」变成一条百分比曲线，做重复次数与幅度统计。
• 不该用它的场合：需要精细指令（选菜单、调速度档位）时，五个离散动作远远不够 —— 那是 EXP-12 手势识别的地盘。

最后一个实验把镜头收回到手上：33 点判大动作够用，但「比个耶」「竖大拇指」这种精细语言，需要 21 个手部点 + 一套四模型级联。