端到端语音对话

01问题引入：为什么"能听会说"还不够

到这里，你已经让机器人学会了「听见叫它」（EXP-01）、「听懂句子」（EXP-02）、「开口说话」（EXP-03）。但把三个脚本简单拼在一起，机器人并不像一个能聊天的伙伴，而像三个轮流上班的实习生：

这些问题没有一个出在单个模块上——识别是对的、合成也是对的——出在模块之间的衔接方式上：

02原理通俗讲解：流水线上拧螺丝

把语音对话想成一条餐厅的服务流水线——客人（用户）点单，服务员（状态机）全程只有一个，但她的脑子在三种工作之间切换：

整条语音管线（本课程主线，务必背下来）：

三个关键生活常识，对应三个工程难点：

03关联知识点

04实验目标

• 理解实时语音交互的 IDLE / LISTENING / SPEAKING 三态状态机设计（原理理解）
• 掌握讯飞 XFM 六麦硬件唤醒与 sherpa-onnx 板载 KWS 两种方案的切换与取舍（方案对比）
• 整合 KWS + ASR + LLM + TTS 全链路，跑通 voice_interaction.py --mic-array 端到端对话（集成实操）
• 理解 LLM 流式响应 + SENTENCE_RE 按句分割的协同设计，解释其为何降低首响延迟（原理理解）
• 掌握 persistent aplay（stdin pipe）流式播放的工程实现与崩溃自恢复（工程实操）
• 理解回声污染与双轮 drain 的解决思路，能解释两次 drain 之间为何要 sleep 0.2s（工程实操）
• 掌握打断检测与 interrupt_event 信号机制，实测打断响应 < 500ms（端到端实操）
• 用 voice_tools_interaction.py --mic-array 完成语音控制机械臂 4 模式（迁移应用）

05实验环境与准备

# 0) 确认六麦阵列与 ALSA 设备（详见 EXP-01/02）
lsusb | grep -i 1a86          # ID 1a86:55d4 QinHeng
arecord -l                    # card 4: XFMDPV0018, device 0

# 1) 确认依赖模型就位（EXP-02/03 已生成）
#    ASR: sherpa-onnx-streaming-zipformer-* + tokens.txt
#    TTS: model-steps-3.onnx + vocos-16khz-univ.onnx
#    LLM: Qwen3.5-0.8B_w4a16_g128_rk3576.rkllm + /usr/lib/librkllmrt.so

06动画讲解：三态状态机数据流

下图是 voice_interaction.py 的运行全景：上半部是音频队列与唤醒判断，中部是三态流转，右侧是 LLM+TTS worker 线程与打断信号。观察 4 秒循环中「状态高亮 → 音频块流动 → 打断信号回跳」的节拍：

07互动讲解：对话状态机步进台

亲手驱动一次完整对话与一次打断：按顺序点按钮，观察状态迁移、每一步的日志，以及两个 Event 的置位时机。

08实操步骤

步骤 1：启动端到端对话

# 终端 1（auto_start_llm=False 时需手动；否则由 voice_interaction 自动拉起）
python3 llm_server.py

# 终端 2：主命令
cd ros2_ws/src/xflz_eai_car1/interaction/car1_interaction/tools/
python3 voice_interaction.py --mic-array
# [Main] 找到录音设备: plughw:4,0 (XFMDPV0018)
# [KWS] 设置唤醒词: 小飞小飞, 小飞同学, 你好小飞
# [LLM] 启动 LLM: Qwen3.5-0.8B_w4a16_g128_rk3576.rkllm (端口 8080)
# [TTS] speed=1.0 gain=2.0
# 就绪 — 说唤醒词开始对话, Ctrl+C 退出

唤醒后说"今天北京天气怎么样？"，加 --debug 可看到 partial 识别逐行刷新、drain 帧数、状态迁移：

# [Main] 播放提示音 (0.67s, 42880 bytes)
# [Main] 排空音频队列: 第1轮 3 帧, 第2轮 1 帧
# [Main] IDLE → LISTENING    [ASR] 今天北京天气怎么样？
# [LLM]  我没有实时查询天气的能力…（逐句 TTS 播放）
# [Main] SPEAKING → IDLE

步骤 2：验证核心机制

# 2a. 持久化 aplay：另开终端确认只有一个 aplay 常驻进程
ps aux | grep aplay
# /usr/bin/aplay -t raw -f S16_LE -c 2 -r 16000 -D plughw:4,0 -q -

# 2b. 打断测试：长回答播放中再次说"小飞小飞"
# [KWS] 打断: 小飞小飞 → [Main] SPEAKING → LISTENING (打断)

# 2c. ASR 黑名单：唤醒后只说"Hi"
# [ASR] 结果无效丢弃: "HI" → IDLE（VIVO/HELLO/OK 等噪声词直接丢弃）

步骤 3：改造练习——分句更保守（只切句号问号感叹号）：

# voice_interaction.py L328-330（原式含逗号、顿号，切得细、延迟低）
SENTENCE_RE = re.compile(r'([。！？；，、\n]|[.?!,](?=\s|$))'
# 保守版：只整句送 TTS，断句奇怪但合成次数少
SENTENCE_RE = re.compile(r'([。！？\n]|[.?!](?=\s|$))'

步骤 4：工具调用模式（语音控制机械臂）——先建 action.yaml（4 模式：home 校准 / work 工作 / pick 抓取 / place 放置，各含 servos PWM 与 duration 2.0s），再启动：

python voice_tools_interaction.py --mic-array
# [Main] 已加载 4 个机械臂模式: ['home', 'pick', 'place', 'work']
# [Main] 机械臂串口已打开: /dev/ttyUSB0 @ 1000000
# 说"机械臂请抓取" → 关键词路径（核心字"抓"）<1s 执行 pick
# 说"机械臂攻坚"   → fuzzy_map 纠正 攻坚→工作 → work
# 问"今天天气怎么样" → LLM 输出 none → 不动作，回 IDLE

09重点与易错点

• 先跑 demo_voice_interaction.py（无真实模型）验证状态机逻辑，再接真模块——排错面最小化。
• KWS 唤醒与 ASR 识别是两个独立过程：drain 期间 ASR 不启动，唤醒后请等提示音结束再说话。
• 两端 Event 方向别记反：interrupt 由主循环设、worker 查；speaking_done 由 worker 设、主循环查。
• 审查每一个 time.sleep 与队列操作是否在状态机线程里——阻塞主循环等于冻结对话。

10总结与思考