TTS 语音合成：让机器人开口说话

01问题引入：只会"听"不会"说"的机器人

前两个实验让机器人能听、能转成文字。但如果它回答时屏幕上打印一行字——用户就得盯着一台会说话的机器看字幕，交互感瞬间归零。语音输出的三道坎：

02原理通俗讲解：把文字变成声音的两级工厂

生活比喻：做饭。文字是菜单，声音是菜品。一级工厂把菜单翻译成菜谱（先放什么后放什么、几分钟火候），二级工厂照着菜谱把菜炒出来。TTS 管线正是这样两级结构：

03关联知识点

04实验目标

• 能默写 TTS 五步管线（文本正则 → 编码 → 梅尔谱 → 声码器 → 后处理播放）并说明每步输入输出
• 用 python3 tts_test.py --text "…" 合成并播放第一句机器人语音，听感清晰无爆音
• 验证 rule_fsts：同一句里混入日期与数字，确认按中文习惯读出（而非逐位蹦）
• 调整 --speed / --sid / --playback-volume，听辨语速、发音人与响度变化
• 实测 RTF：记录 5 句长短语料的合成耗时，判断是否落在 0.25~0.40 达标区间
• 复现并修复"单声道两倍速播放"故障：解释声道不匹配的原理并写出修复三行

05实验环境与准备

# ① 模型就位（声学模型 + 声码器 + 规则文件）
ls models/tts/
model-steps-3.onnx   vocos-16khz-univ.onnx   rule_fsts/  lexicon.txt

# ② 播放链自检：放一段已知正常的测试音（不经过 TTS 模型）
python3 audio_test.py --play ref_16k.wav
[audio] playing ref_16k.wav on plughw:4,0 ... OK

# ③ 查看当前 ALSA 各通道音量（对比实验前后）
amixer sget Master | head -5
amixer sget Output          # 阵列侧混音控件名以 amixer 管单为准

# ④ 依赖
pip3 install onnxruntime numpy soundfile sounddevice

06动画讲解：文本 → 音素 → 梅尔谱 → 波形

看一句"今天是2026年9月24日"的旅程：数字先被 rule_fsts 规范成中文读法 → 音素序列进入 Matcha 逐帧"画"出梅尔谱 → Vocos 把热力图逐列翻译为振荡波形 → 打包成 16kHz 音频流出喇叭。

07互动讲解：语速 · 音量 · 发音人调节台

选一组参数，观察合成命令、预期听感与度量指标（时间轴/响度为讲义实测的典型行为示意）：

08实操步骤：合成第一句机器人语音

# —— 合成主链（tts_test.py 核心，节选）——
import numpy as np, onnxruntime as ort
text_raw = "今天是2026年9月24日，气温26度"
text = run_fsts(text_raw, ["number-zh","date-zh","phone-zh"])  # 数字/日期/电话正读
tokens, durs = matcha_encoder(text)        # 音素 + 每音时长
mel  = matcha.run(tokens, durs, steps=3)   # 梅尔谱 [T, n_mels]
wav  = vocos.run(mel)                      # float 波形 [-1,1] @16kHz
wav  = np.tanh(wav)                        # 软削幅，防 >1.0 削顶爆音

# —— 音量：百分比 → dB（pct_to_db）——
def pct_to_db(pct):
    if pct <= 0: return -96.0              # 数字音频静音下限
    return 20 * np.log10(pct / 100)

# —— 播放：单声道必须复制成双声道（I2S 立体声出）——
pcm = (wav * 32767).astype(np.int16)
stereo = np.column_stack([pcm, pcm]).ravel()   # 关键三行之一：防 2 倍速
sd.play(stereo, samplerate=16000, device="plughw:4,0")

# —— 命令行 ——
python3 tts_test.py --text "你好，小飞已就位"
[TTS] syn 0.62s / audio 1.8s → RTF=0.34 ✓ → play plughw:4,0
python3 tts_test.py --text "3pm meeting, 2026-09-24" --speed 1.2 --sid 1 --playback-volume 70

09重点与易错点

• audio_test.py 与 tts_test.py 两级自检均通过，能说清两者分别验证什么
• 正则测试句中数字、日期按中文习惯读出，无逐位蹦读
• --speed / --sid / --playback-volume 三参数的听感变化可被清晰描述并截图日志
• 5 句语料 RTF 全部 ≤ 0.4，且声音无爆音、无快放
• 能白板默写"声道不匹配导致 2 倍速"的三行修复代码

10总结与思考