多模态语音情绪感知

01问题引入：听懂"字面"还要听懂"语气"

设想客服机器人收到这句话——ASR 识别正确、意图分类正确，但场景翻车了：

再看三个只有"单通道"会翻车的例子：

这套"多通道并行、汇入统一大脑"的思路在多模态模型里已经落地——下图是视觉语言模型（VLM）的两条输入路线：纯文字直接进语言模型，图片则先经预处理与视觉编码器提取特征，再与文本一起汇入语言模型生成回答。本实验把同样的架构换成"文本 + 语音韵律"双通道：

图 1-1：多模态输入的两条路线 —— 路线① 纯文字 prompt 直接进入语言模型（rkllm · NPU）；路线② 上传图片先经预处理（补边到 448²）与视觉编码器（rknn · NPU）提取 196×2048 图像特征，再与文本汇合生成回答。与本实验同理：多一条通道，就多一份"言外之意"的证据。

02原理通俗讲解：品酒师的两条舌头

把情绪识别想成品酒：好品酒师同时用两条线索——看酒标（成分表：文字）与品味（单宁、酸度、回甘：韵律）。只看酒标会把"干红"当成"干"，只凭味觉又抓不住年份品种。对应到技术：

回到整条语音管线（最后一站）：

语音通道的三个特征怎么算（都是"每句话一段统计量"）：

03关联知识点

04实验目标

• 掌握文本情绪分析：基于情感词典/规则对 ASR 文本输出积极/消极/中性/愤怒/开心/悲伤六类标签（分类实操）
• 理解文本分类与实体抽取同源——都属于把自然语言映射到受控词表（概念关联）
• 掌握语音情绪分析：从波形提取韵律、音量、语速特征并给出通道判情（特征实操）
• 实现双模态情绪融合：分数级加权可调，能演示文本/语音冲突样例的融合差异（融合实操）
• 能把情绪标签接入 EXP-05 的对话上下文，设计"情绪感知的助手/客服"应答策略（集成应用）
• 理解情绪输出与 TTS 播报风格的联动（衔接 EXP-03），完成闭环设计（迁移应用）

05实验环境与准备

# 0) 前置就绪检查（三站分别是 EXP-02 / EXP-05 主命令）
python3 asr_test.py --mic-array   # 文本通道原料：ASR 文本
python3 llm_test.py --prompt "你好"  # LLM 连通（可承担 text 分类器）
# 1) 录一段情绪样本（平静/愤怒/悲伤/开心 各 1 条）
arecord -D plughw:4,0 -r 16000 -f S16_LE -c 1 -d 3 angry.wav

06动画讲解：双模态情绪融合

观察一句话的两条命运线：文本通道连到词典/分类器，语音通道抽出韵律三特征，两路分数在融合器按权重合并，最终落点在右侧"效价-唤醒度"情绪坐标上（4 秒循环，看紫色融合点的迁移轨迹）：

07互动讲解：情绪融合权重台

三个样例 + 两组权重，亲手复现"字面 vs 语气"冲突时融合结果如何翻转：

08实操步骤

步骤 1：采集四类样本（每类 3 条起，安静环境 + 远近各一条）：

arecord -D plughw:4,0 -r 16000 -f S16_LE -c 1 -d 3 samples/angry_01.wav
arecord -D plughw:4,0 -r 16000 -f S16_LE -c 1 -d 3 samples/sad_01.wav
# 真实语料优先用 EXP-02 链路边说边存：唤醒 → 朗读情绪句 → 得 (wav, text) 对

步骤 2：文本通道——程度词/否定词加权的情感词典打分（课堂实现骨架）：

LEX = {"棒": +2, "喜欢": +1.5, "烦": -2, "太": 1.5, "不": -1}
def text_score(s):
    # 遍历命中词 → 前置程度词加倍、前置否定词取反 → clip 到 [-3, +3]
    # 分数段映射六类: >1.5 开心, >0.3 积极, >-0.3 中性, >-1.5 消极, >=愤怒词 愤怒, 否则 悲伤

# 或直接委托 LLM（白名单约束，承接 EXP-05 的 system prompt 手法）：
"你是情绪标注员，只输出: 开心|悲伤|愤怒|积极|消极|中性"

步骤 3：语音通道——对样本波形统计三特征并归一化打分：

# F0 均值/方差（基频轨迹近似）、RMS 平均能量、字率与静音占比
# 归一化到该说话人基线后映射: 高能量+高语速 → 愤怒(+强度)
#                             低能量+慢语速+F0平 → 悲伤; 温和起伏 → 开心

步骤 4：融合与闭环——分数级加权后与 EXP-05/03 打通：

final = w*text + (1-w)*voice   # 冲突(异号)则 confidence *= 0.5
# 标签写入 LLM 上下文 → 回复语气调整：
"用户当前情绪:悲伤。回复更温和简短,先安抚再解决。"
# 播报风格呼应 EXP-03 参数（稍慢、降增益）：
python3 tts_test.py --text "别急，我们马上帮您处理。" --gain 1.5

09重点与易错点

• 先做单通道各自可信的评测，再谈融合——融合救不了两个都不准的通道。
• 每个测试句固定"文本 + 波形"成对存档，回归测试时两通道一起复跑。
• 输出永远带置信度；低置信交由澄清话术（"听起来您有点着急，是吗？"）比硬猜更稳。
• 别忘了闭环：情绪的最终消费方是回复语气与 TTS 风格，而不是一张打印的表格。

10总结与思考