多模态理解：让机器人看着人，说出一句判断

01目标：让机器人看着人说一句判断，并说清它凭什么

板上真跑的一次完整输出（含模型加载那几行）：

I rkllm: loading rkllm model from …/Qwen3.5-0.8B_w4a16_g128_rk3576.rkllm
I rkllm: rkllm-toolkit version: 1.3.0, max_context_limit: 4096, npu_core_num: 2, target_platform: RK3576
[I][vlm] VLM 就绪
[I][vlm] VLM: vision 1.03s, llm 4.22s, answer='否'
label=not_fall
confidence=0.8
reason=否

学完你该能做出这三件事

• 跑通一次 VLM 判断：给一张图，拿到 label 与 reason。
• 说清图上信息怎么变成模型能读的输入（裁剪 → 编码 → 图像向量）。
• 识破“confidence=0.8” 这类看起来像概率、其实来自解析规则的数。

🔑 一句话：这一页要分清两个来源 —— 哪句是模型说的，哪个数是代码给的。

02问题：它凭什么敢说“没摔倒”

跌倒看护、手势控制、情绪安抚 —— 这些场景光靠声音不够：同一句“我没事”，站着说和躺在地上说， 意思完全不同。要判断，就得让它看。

🔑 一句话：让它看图不难，难的是知道那一眼有多可靠。

03现象：真跑出的一次 VLM 判断

怎么跑出来

VLM 默认是关的（model.vlm.enabled: false）。用一份打开开关的配置副本跑，别动原配置：

终端一 · 看图判断

cd ~/ros2_ws/src/xflz_eai_car1/app/elderly_companion
python3 apps/vlm_demo.py --config /tmp/fall_vlm.yaml --image testdata/stand_up.jpg

🔍 看什么：三处。

• 看两段耗时是分开的 —— vision 1.03 s（看）与 llm 4.22 s（想）不是一回事。
• 看 answer 只有一个字 —— 提示词要求“再写一句理由”，这次连理由都没给。
• 看 confidence 恰好 0.8 —— 换一张图它还是 0.8，这就是第 04 节要揭的盖。

🔑 一句话：现象里最该警觉的是那个“太整齐”的 0.8。

04原理：一帧图到一句判断的六格

1为什么不把整张监控画面直接丢进去？

吃什么：原始帧。做什么：先定位人。吐什么：人体框。 动参数会怎样：不裁直接问，模型要在一整张背景里找人，远小的人容易看不见 —— 等于让它在合影里判断最角落那个人的姿势。

2裁多大才合适？

吃什么：人体框。做什么：按框裁剪并缩放到编码器要求的 448×448。吐什么：标准小图。 动参数会怎样：裁太松 → 背景占比大；裁太紧 → 手脚本被切掉，而“摔倒”恰恰要看四肢。

3图怎么变成模型能读的东西？

吃什么：448×448 的图。做什么：视觉编码器（.rknn）把它切成小块逐个编码。 吐什么：一串向量，也就是模型眼中的“这张图”。

这一步在 _encode_image() 内部完成，实测 1.03 s。它和后面的语言模型是两个模型，各加载各的。

4提示词为什么要写死选项？

吃什么：向量 + 提示词。做什么：生成。吐什么：一句话。 动参数会怎样：源码的提示词是「图中的人是否摔倒了？只回答'是'或'否'或'不确定'，然后写一句理由」。 不给选项，模型会写一段散文，第 6 格的关键词匹配就没法用。

5为什么“看”和“想”要分开计时？

吃什么：图与提示词。做什么：分别统计 vision 与 llm 两段。 吐什么：两个耗时数。动参数会怎样：提高分辨率或加长提示词，先变的是 llm 那段。

6“是/否”怎么变成 label，0.8 又从哪来？

吃什么：一句回答。做什么：按关键词判：含“不确定”→ uncertain(0.5)； 含“是”且不含“否”→ fall(0.8)；含“否”→ not_fall(0.8)；其余→ uncertain(0.5)。吐什么：三元组。

每格答全的五列表

🔑 一句话：模型只负责在第 5 格说话；前四格决定它看到什么，第 6 格决定你怎么理解它。

05实践：三步跑通一次看图判断

1. 确认两个模型在位 约 10 分钟 看 ~/models/rkllm/ 下有 Qwen3.5-0.8B_vision_rk3576.rknn 与 …w4a16…rkllm 两个文件。
2. 开一份临时配置 约 5 分钟 把 model.vlm.enabled 改成 true 并另存 /tmp/fall_vlm.yaml，原配置保持关闭。
3. 跑图并核对三段输出 约 15 分钟 先跑 stand_up.jpg（应得 not_fall），再换 fall_1.png 对比，看 label 与耗时是否变化。

对账表：命令 → 函数 → 文件

踩坑速查

🧪 Vibe Coding 复盘

🔑 一句话：先看日志有没有“VLM 就绪”，再看耗时分配 —— 顺序对了不会白查。

06交互：关键词与置信度的真相

📌 掌握检查：模型回答“不是摔倒”，会判成哪一类、置信度多少？先答出来再点。

三个观察点：

• 回答切成“不确定” → confidence 掉到 0.5，低于 0.70 阈值，下游应该拒判。
• 回答切成“不是摔倒” → 同时含“是”与“否”，按“否优先”判 not_fall。
• 裁剪边长调小 → 视觉那段会更快，但四肢细节丢了，“摔倒”更容易判错。

可信度说明：解析分支与常量直接照 _parse() 实现；耗时按 448 实测 1.03 s 线性折算， 只用于比较趋势。

🔑 一句话：阈值能筛掉“不确定”，但筛不掉“自信的错” —— 因为 0.8 恒等于 0.8。

07验证：三道题

✅ 目标对账

🔑 一句话：三题分别考「第 4 格吐什么 / 开关在哪 / 那个数是谁给的」。

08总结：图给证据，规则给边界

知识点关系表

两个反直觉

• 直觉是“置信度来自模型”，实际是解析分支写死的 0.8 / 0.5 / 0.0。
• 直觉是“多模态就是一个模型”，实际是视觉编码 + 语言模型两段，各占一半耗时（1.03 s / 4.22 s）。

注意事项

• 数值陷阱：0.8 不是概率，用它做阈值筛选只能筛掉“不确定”，筛不掉“判错但很自信”。
• 开关默认关闭，改动请用配置副本，别把发布配置打开。
• 裁剪框由姿态结果决定：姿态没检到人时，根本不会走到 VLM。
• “否优先”是有意设计，为了兜住“不是摔倒”这类否定句。

前置依赖

这套东西用在哪儿

• 老人看护：规则判跌倒后，VLM 二审减少误报，再决定是否呼救。
• 作业质检：拍一张装配照片，问“螺丝是否到位”，输出通过/不通过。
• 情绪安抚：看着对方面部与姿态，配合语音语气决定回话方式。

🔑 记忆点：模型说的那句话是证据，代码给的那个数是边界 —— 两者绝不能混为一谈。