声学模型 ASR 语音识别：把声音变成文字

01问题引入：从"声音"到"文字"隔着多远

EXP-01 让机器人"听见有人叫它"，但喊完"小飞小飞，前进"之后——后半句去哪了？阵列的 ivw 唤醒事件只带一个词，真正的话还在空气里飘。把话变成文字，机器人会遇到三难：

02原理通俗讲解：听写员的三道工序

生活比喻：会议速记员。你说话时，速记员不是等你整段讲完才动笔，而是边听边写、时不时回头修正。一条 ASR 管线就是三位接力的工人：

03关联知识点

04实验目标

• 能画出"波形 → 分块特征 → Zipformer encoder → joiner 解码 → 文本"的完整数据流并标注维度
• 用 python3 asr_test.py --mic-array 从六麦阵列实时识别，延迟可感知地低于一句话说完
• 配置 modified_beam_search + 热词表，让"打开灯"正确率显著高于裸贪心解码
• 解释 endpoint rule1 / rule2 / rule3 各自管什么，并通过改参数复现"句子被截断 / 尾巴拖太长"两种故障
• 切换 rknn / cpu 两种 provider，记录同一句测试语的延迟与 CPU 占用差异
• 按讲义 WER 流程跑一轮基准，给出调参前后的字错率对比表

05实验环境与准备

# ① 安装推理框架（版本必须锁定，混装易 ABI 报错）
pip3 install sherpa-onnx==1.10.0

# ② 模型文件就位（三件套 + 词表 + 热词文件）
ls models/zipformer-transducer/
encoder_fp16.rknn  decoder_fp16.rknn  joiner_fp16.rknn  tokens.txt  hotwords.txt

# ③ 确认阵列声卡（数字为示例，以 arecord -l 实际输出为准）
arecord -l | grep -i xfm
card 4: XFM1100 [XFM1100], device 0: ...

# ④ 确认 NPU 驱动在位
ls /dev/rknpu
/dev/rknpu   ← 存在即 RKNN 加速可用

06动画讲解：音频流 → 分块 → 声学模型 → 解码

观察一个音频块（100ms）从入队到出字的旅程：波形被切块 → encoder 计算中（NPU 闪烁）→ beam search 候选路径竞争 → partial 文本实时回显，endpoint 触发后句号落下。

07互动讲解：热词与解码参数实验台

同一句含噪输入"打开灯"，切换解码方式与参数组合，观察候选打分与 WER 变化（数据为讲义实验的典型值示意）：

08实操步骤：跑通 sherpa-onnx 实时识别链

# —— 识别器构建（asr_test.py 核心配置）——
import sherpa_onnx
config = sherpa_onnx.OfflineRecognizerConfig.from_transducer(
    encoder=sherpa_onnx.OfflineTransducerModelConfig(
        encoder=sherpa_onnx.CTCModelConfig(
            model="models/zipformer-transducer/encoder_fp16.rknn"),
        decoder=..., joiner=...),   # 三件套齐
    tokens="models/zipformer-transducer/tokens.txt", tokens_type="zh")
config.model.provider = "rknn"            # 改 "cpu" 做对照组
config.decoding_method = "modified_beam_search"  # 热词仅此模式生效！
config.hotwords_file = "hotwords.txt"       # 打开灯 关闭灯 前进 后退 左转 右转 停下
config.hotwords_score = 2.0                  # 每个热词 token 的加分
config.rule1_min_trailing_silence = 4.5      # 静音超 4.5s 判停
config.rule2_min_trailing_silence = 1.5      # 检出句号且尾静音 1.5s 判停
config.rule3_max_utterance_length = 300.0    # 硬上限 300s

# —— 拾音与分块（100ms 一口喂进去）——
import numpy as np, sounddevice as sd
device = detect_xfm_devices()     # arecord -l | grep XFM → "plughw:4,0"
def callback(indata, frames, t, status):
    stream.accept_waveform(sample_rate, indata[:, 0])   # 边说边解
    while stream.is_ready(): recognizer.decode_stream(stream)
    print("partial:", stream.result.text)              # 实时回显
    if stream.detected_endpoint(): print("final:", ...)

python3 asr_test.py --mic-array
[ASR] provider=rknn  decoding=modified_beam_search  hotwords=7
partial: 打开实验室的灯
final: 打开实验室的灯 → COMMAND_MAP 命中: 打开灯

# —— 热词失效排查（三连）——
# ① decoding_method 是不是 modified_beam_search？② 热词是否用空格分词？③ 路径对不对？

09重点与易错点

• 实时识别出字速度跟得上语速，partial 持续更新、endpoint 后输出 final
• 热词组 vs 非热词组的 WER 对比表已记录，能解释数字变化的原因
• 三组 endpoint 参数的截断/拖沓故障均已人为复现过一次
• rknn 与 cpu 两组延迟/占用数据入表，能说出 NPU 加速的实际收益
• 识别"左转"等指令能被 COMMAND_MAP 命中并打印动作名

10总结与思考