大模型语义理解

01问题引入：听懂字面 ≠ 听懂你

在 EXP-04 的工具模式里，机器人靠"抓→pick、放→place"这类关键词对暗号。这在几条固定指令内很好用，但只要用户换个说法就露馅：

把一台只会关键词的机器人想象成一个只认门牌号的快递员——6 号门、8 号门他跑得飞快，但你说"送到那个有猫的家"，他就原地宕机。语义理解要做的，就是把千变万化的说法翻译成统一、结构化、可执行的内部表示。

02原理通俗讲解：把话写成工单

把机器人后端想成一家餐厅的前厅写单流程。客人（用户）口头点菜，服务员（大模型）不直接冲进厨房，而是先在点菜单上写清楚：

再把整条语音管线走一遍（本课程主线第 4 站就是今天的主角）：

Function Call 是本站的"临门一脚"，本质是一个三步循环：

03关联知识点

04实验目标

• 理解 RKLLM 本地推理引擎与 W4A16 量化策略，会用 curl /v1/models 验证服务（原理理解）
• 掌握 意图识别：把用户话术分类为 查询 / 控制 / 闲聊，能处理"多意图含糊指令"（分类实操）
• 掌握 槽位提取（实体抽取）：从句中抽出对象、位置、数量，拼装为结构化 JSON 输出（结构化实操）
• 拆解 LLMClient / 流式 SSE 解析 / CLI 多轮对话三模块，完成 6 轮以上上下文记忆测试（模块拆解）
• 理解 Function Call 原理，能在请求体声明 tools JSON Schema 并解析模型的 tool_call 指令（流程掌握）
• 跑通"模型决策 → 客户端执行 → role:tool 回传"闭环：1+1=? → calculator → "等于 2"（集成实操）
• 会用 system prompt 约束输出风格与 JSON 格式，理解必须 messages[0] 位置的原因（调优实操）
• 能将该 OpenAI 兼容接口迁移到 Agent / MCP 等业务（迁移应用）

05实验环境与准备

# 0) 确认板载运行时存在
ls -l /usr/lib/librkllmrt.so        # 软链目标，llm_server 首启自动 symlink
# 1) 启动服务（终端 1）
cd ros2_ws/src/xflz_eai_car1/interaction/car1_llm/tools/
python3 llm_server.py               # =========init....=========== rkllm init success!
# 2) 客户端连通性（终端 2）
curl http://127.0.0.1:8080/v1/models # {"data":[{"id":"Qwen3.5-0.8B_w4a16_g128_rk3576"...]}

06动画讲解：意图 → JSON → 行动流水线

观察一句话如何被"压"成机器行动：token 流逐段送入模型 → 分类出意图与槽位 → 拼成 JSON → 模型报出 tool_call → 客户端执行并回传 role:tool → 模型终答。4 秒循环，注意下方 Function Call 闭环的回环路径：

07互动讲解：意图分类与采样实验台

选一句话、换一组采样参数，看看同一个 0.8B 模型的"理解"会如何漂移——尤其是温度对结构化输出稳定性的影响，以及多意图指令的拆解方式。

08实操步骤

步骤 1-2：服务与多轮对话（llm_test.py 默认采样 temperature=0.8 / top_p=0.9 / max_tokens=4096 / repeat_penalty=1.1）：

python3 llm_test.py
# You > 我叫小明   → AI > 你好，小明！很高兴认识你。
# You > 我刚才说我叫什么？ → AI > 你刚才说你叫小明。（messages 历史生效）
# You > clear 一键清空历史    You > exit 退出
# 采样对比：事实问题低温，创意任务高温
python3 llm_test.py --prompt "1+1=?" --temperature 0.1 --no-stream
python3 llm_test.py --prompt "写一首关于机器人的诗" --temperature 1.5

步骤 3：意图/槽位 JSON 输出——关键是 system prompt 放 messages[0] 并用白名单约束：

messages = [
  {"role": "system", "content":
   "你是语义解析器。只输出JSON：{\\"intent\\":查询|控制|闲聊, \\"slots\\":{...}}，禁止解释。"},
  {"role": "user", "content": "把机械臂放到右边并抓取方块"},
]
# 期望: {"intent":"控制","slots":{"动作":["放置","抓取"],"位置":"右边"}}
resp = client.chat_once(messages, temperature=0.1, max_tokens=200)

步骤 4：Function Call 闭环——声明 TOOLS → 解析 tool_calls → 执行 → role:tool 回传（max_iter=3 兜底）：

python3 llm_test.py --mode tools --prompt "现在几点了？"
# 可用工具: get_current_time, get_system_info, calculator, get_battery_status
# model → tool_calls: get_current_time() → FUNCTION_MAP 执行
# → {"role":"tool","name":...,"content":"{...}"} → 二次请求 → "现在是 14:30"
# 数学题同理: "1+1等于几?" → calculator(expression="1+1") → {"result": 2}
python3 llm_test.py --mode tools --prompt "计算 123 * 456"

09重点与易错点

• 每次实验前先 curl /v1/models 五秒排除连通性问题，再怀疑 prompt。
• 调参遵循"一变量一次"：先锁 temperature=0.1 验证格式，再谈其他。
• 验证 JSON 时打印原始响应原文——别只看解析成功后的漂亮结果。
• 新增工具只改两处：TOOLS（Schema）与 FUNCTION_MAP（实现），保持一一名映射。

10总结与思考