6 个递进实验，从讯飞六麦阵列的串口帧与唤醒词起步，贯通声学模型 ASR、声码器 TTS 的"听"与"说"，再把 拾音 → 唤醒 → 识别 → 理解 → 回复 → 合成 六步管线串成端到端语音对话，最终以大模型语义理解与多模态语音情绪感知赋予机器人"听懂弦外之音"的能力 —— 每个实验均配原理讲解、动画演示与交互沙盒。
先把"耳朵"和"嘴巴"分别做扎实：串口帧里读懂六麦阵列的定位与唤醒，声学模型里跑通实时转写，声码器里把文字合成为自然人声。
讯飞 XFM 六麦环形阵列的 AIUI 串口协议全解析：帧头、校验、TDOA 波束定向与 ivw 唤醒事件，3 秒防抖 + wakeup_lock 抗误触，Tkinter 可视化调试。
sherpa-onnx + Zipformer-Transducer 流式识别：100ms 分块入网、RKNN NPU 加速、endpoint 三条判停规则，热词表与 beam search 调参压低字错率 WER。
Matcha-TTS 声学模型 + Vocos 声码器两级工厂：文本正则化、梅尔谱预测、波形重建，语速 / 音量 / 发音人三组旋钮与 RTF 实时率调优。
把三个单模块串成会话：状态机调度听想说、Function Calling 让大模型"说了就做"，再给回答加上情绪维度的察言观色。
voice_interaction.py 三态状态机（IDLE / LISTENING / SPEAKING）：硬件唤醒 + 双轮 drain 清残句、大模型流式输出按标点分句喂 TTS、interrupt_event 实现随时打断。
意图识别、槽位提取与结构化 JSON 输出：本地 RKLLM 部署 Qwen 大模型，Function Calling 用 JSON Schema 描述工具，让"打开车灯"从一句话变成一次真实调用。
文本与语音双通道情绪识别：情感词典打分、F0 / 能量 / 语速三组韵律特征，双模态融合策略输出情绪标签，为客服与情感助手场景给出回应语气建议。
全课程围绕 讯飞六麦阵列 + 工控主机（RK3576 / RKLLM）展开，实验数据全部来自实物采集。
EXP-01~03 是三条独立的"单模块"线：阵列只管听声辨位，ASR 只管转写，TTS 只管合成。逐个跑通后再进入第 2 章，全链路排障时才能迅速定位是哪一环出了问题。
串口帧头 0xA5、校验和、小端字节序……这些"枯燥"的字节正是排查"唤醒没反应"的第一现场；ASR 的 endpoint 与热词规则同理，参数不对，体验全毁。
波束成形、解码搜索、状态流转、情绪坐标这些看不见的过程，先在交互沙盒里把参数调一遍，建立直觉，再到工控主机上验证。
EXP-04 让机器人"开口说话"，EXP-05 让它"听懂并动手"，EXP-06 让它"察觉你的情绪"——三层能力叠加，才是完整的自然语言交互应用。