本地语音合成：文字怎么变成能听见的声音

01目标：一句话变一个 wav，并报出生成代价

板上真实跑出来的那一段（--speed 1.0）：

Text:  你好，我是小飞，欢迎来到实验室
Speed: 1.0
Audio:  3.44s  (16000 Hz, 55026 samples)
Gen:    1.17s
RTF:    0.339  (faster than real-time)
Output: /tmp/tts_s1.0.wav

学完你该能做出这三件事

• 合成 一段中文语音并用板载扬声器放出来（命令、模型路径、播放设备都写对）。
• 算清 RTF 的含义：它等于 Gen ÷ Audio，小于 1 才是实时。
• 解释 为什么语速从 1.0 调到 1.3，RTF 反而变大了。

🔑 一句话：TTS 的产物不是一个“声音文件”，是「音频时长 + 生成耗时」这一对数。

02问题：它怎么知道每个字该念多长

导航播报、跌倒告警、对话回复 —— 机器人的每一句话都要现场“造”出来， 不能提前录：地点名、时间、人名都是变的。录好的音频库撑不住这三类场景。

你给一行字，它给你一段波形。中间要回答三件事：

🔑 一句话：字不认识字，它只认识音素；时长不是模型随手编，是由一套前端规则给的。

03现象：三档语速的真实数字

看第三、四列：语速越快，Audio 越短、Gen 也略短， 但 RTF 反而更高。原因在第 04 节最后一行公式。

怎么跑出来

模型都在 ~/models/tts，脚本自带默认路径，所以只需给文本和语速：

终端一 · 合成

cd ~/ros2_ws/src/xflz_eai_car1/interaction/car1_speech/tools
python3 tts_test.py --text "你好，我是小飞，欢迎来到实验室" --speed 1.0 --no-play -o /tmp/tts_s1.0.wav

🔍 看什么：三处。

• 看 Audio 与 Speed 成反比 —— 0.8 时 4.20 s，1.3 时 2.61 s，比例约 1.6 倍。
• 看 Gen 几乎不变 —— 1.32 / 1.17 / 0.99，说明生成一次的计算量由“句子长度”决定，不由“念多快”决定。
• 看 RTF 反向变化 —— 这就是重难点里那条反直觉的实测证据。

🔑 一句话：Audio 跟语速反着走，RTF 跟着 Audio 反着走。

04原理：文字到波形的六格

1模型不认识汉字，那第一步给了它什么？

吃什么：一行字符串。做什么：先做文本规范化 —— 「2026-11-09」要读成「二零二六年十一月九日」， 「3.5」要读成「三点五」。吐什么：一串纯中文。用什么：前端的 number-zh.fst、date-zh.fst 规则文件。

动参数会怎样：这层规则缺了，模型会把「11-09」念成「一一杠零九」——不是模型笨，是没人告诉它这是日期。

2为什么还要查一张 lexicon 表？

吃什么：规范后的中文。做什么：按 lexicon.txt（约 1.4 MB）把每个字查成带声调的音素， 再交给 espeak-ng-data 处理生僻字。吐什么：音素序列。

3音素怎么变成一张“简谱”？

吃什么：音素序列。做什么：Matcha-TTS 一次性预测每个音素占多少帧（这就是时长）， 并给出每帧的频率分布。吐什么：梅尔谱。动参数会怎样：--speed 就是在这层缩放时长， 0.8 让每音素多占帧 → 音频变长。

4有了谱，为什么还要第二个模型？

吃什么：梅尔谱。做什么：Vocos 声码器把谱还原成波形采样点。 吐什么：16 kHz 的浮点序列。

为什么不能一个模型干完：声学模型输出的是“频率随时间怎么变”，丢掉了相位； 相位恰恰决定波形长什么样。Vocos 专门负责把相位补回来 —— 这就是第二个模型的全部职责。

5“能边生成边播”凭什么判断？

吃什么：生成的音频与耗时。做什么：算 RTF = Gen ÷ Audio。 吐什么：一个小于 1 的数就代表实时。

RTF = 生成耗时 ÷ 音频时长
0.339 = 1.17 s ÷ 3.44 s

动参数会怎样：语速调到 1.3，Audio 掉到 2.61 s 而 Gen 只降到 0.99 s， 于是 RTF 升到 0.380。RTF 变大不是变慢，是音频变短了。

6为什么“放不出来”是最常见的结果？

吃什么：一个 wav 文件。做什么：用 ALSA 送到某张声卡。吐什么：声音。 动参数会怎样：-D plughw:3,0 写错成 plughw:0,0，声音就走到别的声卡上（甚至没有声音）。

实测这台板上：六麦阵列那张卡只有采集，放音要用 USB Audio Device（card 3）。 这一步在 05 节会给命令。

每格答全的五列表

🔑 一句话：1~3 格决定“念得对不对”，4~5 格决定“像不像人”，6 格决定“你听不听得见”。

05实践：三步合成并对照

1. 确认模型与脚本在位 约 5 分钟 进工具目录，先看模型五个文件齐全没有：两个 onnx 加起来约 120 MB，缺一个就会在加载时报错。
2. 合成第一句并不播放 约 10 分钟 用 --no-play 先把 wav 落盘，看 Audio / Gen / RTF 三行，确认链路通。
3. 换语速做对照，再放出来听 约 15 分钟 同一句话跑 0.8 / 1.0 / 1.3 三档，记录三个 RTF；最后用 -D plughw:3,0 播放一次。

对账表：命令 → 函数 → 文件

踩坑速查

🧪 Vibe Coding 复盘

🔑 一句话：先落盘看三个数字，再放出来听 —— 分两步排查比一次到底快。

06交互：语速、字数与 RTF 的关系

📌 掌握检查：把语速拖到 1.3，RTF 应该变大还是变小？先答出来，再拖。

三个结论，拖一遍就能看出来：

• 语速 ↑ → Audio ↓ → RTF ↑（重难点那条）。
• 字数 ↑ → Audio 与 Gen 一起 ↑，但 RTF 变化不大 —— 说明 RTF 与句子长短基本无关。
• 线程数 ↑ → Gen ↓ → RTF ↓，这是唯一能真正“提速”的旋钮。

可信度说明：台子用两次实测点（6 字 / 14 字）拟合出「约 0.245 秒每字 ÷ 语速」， 线程数按 4 线程实测值线性外推。绝对值仅供对比趋势，不能当性能基准。

🔑 一句话：语速改的是分母，线程改的是分子，想变快只能动分子。

07验证：三道题

✅ 目标对账

🔑 一句话：三题分别考「模型吃什么 / 声音从哪出 / 那个数怎么算」。

08总结：前端定读法，声码器定音质

知识点关系表

两个反直觉

• 直觉是“语速快 = 合成快”，实际是合成耗时几乎不变，是音频变短让 RTF 升高。
• 直觉是“一个模型端到端出声音”，实际是两个模型分工：一个管“念什么、多长”，一个管“波形长什么样”。

注意事项

• 数值陷阱：RTF 小于 1 只说明“能实时”，不代表音质好；两者是不同维度。
• 两个 onnx 必须配套使用，换声码器会让音色与之前完全不同。
• 播放设备显式指定，别依赖默认卡；本板实测放音在 card 3。
• 语速别超过 1.5：实测 1.3 已能听出偏快，再快会吞字。

前置依赖

这套东西用在哪儿

• 导航播报：把「前往 3 号工位」现场合成，不用提前录音。
• 告警播报：跌倒、越界等事件用固定句式即时念出（本板实测「检测到老人跌倒，正在呼叫帮助」3.12 s）。
• 陪伴对话：把 LLM 回复逐句合成，边生成边播，见 EXP-04。

🔑 记忆点：念得对靠前端，像人靠声码器，听得见靠声卡 —— 三件事分开查，别混在一起。