基于LLM强制对齐与CTC声学分析的二合一吞音检测系统（生产级方案）

前言

项目地址：基于 Pytorch 实现的声纹识别系统

​ 在语音信号处理领域，发音质量评估（Pronunciation Assessment）一直是人机交互与语音康复分析的关键技术。其中，“吞音”（Swallowed Sound）现象——即说话过程中因发音不完整、音素压缩或口型不到位导致的音素丢失或模糊——是影响语音清晰度与可懂度的重要因素。传统的语音识别系统（ASR）通常旨在尽可能还原文本，往往会通过语言模型自动修正此类发音错误，从而掩盖了发音人的真实发音缺陷。因此，开发一套专用的吞音检测系统对于语音教学、临床构音障碍诊断及高质量语音合成数据清洗具有重要意义。针对上述问题，本文提出了一种集成大语言模型强制对齐（LLM-based Forced Alignment）与连接时序分类（CTC）声学分析的二合一吞音检测系统（2-in-1 Swallow Sound Detection System）。该系统创新性地构建了一个统一的分析框架，能够同时适配无参考文本（Reference-free）与有参考文本（Reference-based）两种应用模式。在无参考文本模式下，系统利用 Wav2Vec2 模型的 CTC 分支进行音素级分割，并结合多模态声学特征计算吞音风险；在有参考文本模式下，系统优先引入 Qwen3-ForcedAligner-0.6B 强制对齐机制，利用大模型对长文本及噪音环境的高鲁棒性，获取精确的音素边界，并辅以 CTC 对齐作为回退机制。本文的主要贡献在于提出了一种基于多维特征统一归一化与线性加权的评分算法，并证明了引入 LLM 对齐能显著提升复杂场景下的检测精度。

关于音频大模型相关知识背景，建议学习文章 -> https://huggingface.co/learn/audio-course/zh-CN/chapter1/introduction

音频检测通常可分为两大类：

第一类为无参考文本的场景，例如客服对话、半双工或全双工通话、即兴演讲以及临场指挥等业务场景；

第二类为有参考文本的场景，如朗读、演讲及会议记录等。

​ 在不同类型的音频检测任务中，基于CTC（Connectionist Temporal Classification）架构的方法通常优于基于Seq2Seq（序列到序列）架构的方法。CTC采用仅包含编码器的架构，具有更高的分析速度，并且避免了Seq2Seq中交叉注意力机制可能带来的声学干扰。然而，需要明确的是，Wav2Vec2 等 CTC 模型在此系统中的核心作用是声学特征检测与音素级分割，而非文本生成/转写（ASR）。若需完整的文本输出，通常需要级联额外的 ASR 模型或使用带有强大语言模型解码器的方案，但这会显著增加系统计算成本。在吞音检测这一垂类任务中，我们优先利用 CTC 的高帧率特性捕捉极短的声学异常，而将转写需求视为可选项，以实现检测精度与推理速度的最佳平衡。

该系统基于Wav2Vec2模型，通过CTC（Connectionist Temporal Classification）架构输出音素或字符的预测概率，并结合多模态声学特征计算每个音素的吞音风险评分。系统设计核心包括以下几个方面：

1. 特征归一化与加权：系统使用多种声学特征，如音素时长、能量、谱熵、发声率、零交叉率（ZCR）、谱质心及基频变化等，通过归一化和线性加权形成初步评分。
2. 统一特征归一化：针对不同量纲的特征，设计了各自的截断归一化（Clamp）策略，将原始特征映射到 [0, 1] 惩罚空间，随后通过线性加权直接计算最终评分，逻辑简洁高效。
3. 可选优化：提供ADMM（交替方向乘子法）接口，可在未来扩展中对无参考文本场景进行附加优化。但由于缺乏这类数据，并且推理实现有一定难度，未实现。
4. Qwen3 强制对齐：若存在参考文本，系统优先采用 Qwen3-ForcedAligner-0.6B 进行强制对齐。该模型基于大语言模型架构，相比传统 CTC 对齐具有更强的语义理解能力和对远距离依赖的建模能力。最终结果由声学检测评分（S2）与对齐偏差评分（S1）按预设比例（建议 3:7）混合得出。
5. 对齐策略优化：在对齐单位的选择上，系统针对中文场景进行了特殊优化。传统 CTC 对齐易受同音词干扰（如“北京”误识为“北经”），而 Qwen3 凭借其强大的上下文感知能力，能有效在语义层面解歧义。对于英文场景，系统支持音素级（Phoneme）对齐，以捕捉更细微的发音缺陷。

前置知识：

1. 音频特征基础：理解采样率、分帧及基础声学特征提取。参考：https://huggingface.co/learn/audio-course/zh-CN/chapter1/audio_data
2. CTC与Seq2Seq解码架构 & 强制对齐 (Forced Alignment)：理解不同模型结构在音频特征和文本映射上的差异。CTC：https://huggingface.co/learn/audio-course/zh-CN/chapter3/ctc | Seq2Seq：https://huggingface.co/learn/audio-course/zh-CN/chapter3/seq2seq

一.无参考文本场景

​ 对于无参考文本的音频检测任务，由于缺乏标准文本对照，分析主要依赖于声学特征的提取与处理。在设计识别流程时，可以将音频信号按照大约10毫秒的时间窗口进行切分，（这一时间尺度与人类发音一个音节或一个字符的持续时间相当）基于此划分，可以对每个音频片段进行特征提取，从而实现音素或字符级别的检测与分析。这种方法不仅能够捕捉短时声学变化，还为后续的音频内容识别与质量评估提供了可靠的基础。

架构演进说明：统一跨语言声学特征抽取

早期版本中，针对不同语言（如中文的字符级、英文的音素级）系统分别维护了 token_model_path 和 phoneme_model_path 两个不同的声学模型，并依赖复杂的 NLP 工具链建立对应的语言基础分析单元。

在最新生产级架构中，由于引入了具备强大跨语言泛化能力的 Qwen3-ForcedAligner，有参考文本时的文本对齐任务已完全由大模型端到端接管，而无参考文本不再转写为文本。因此，Wav2Vec2 在本系统中的核心作用被精简为纯粹的全局声学概率特征提取（如信息熵、后验概率）以及在无参考文本时提供基于 Blank 帧的通用 CTC 切割。

基于不同语言在“发声/静音（Blank）”概率分布及信息熵上的高度跨语言通用性，现在的系统采用了完全统一的单一声学模型（acoustic_model_path），彻底移除了语言强绑定的冗余逻辑，实现了更精简、稳健的生产级部署方案。移除 NLP 强依赖工具链：抹去了原先大段关于 espeak-ng 环境折腾及伪装软连接的说明。依靠 Wav2Vec2 内置 Tokenizer 即可顺利完成降级情况的对齐映射，彻底消除了外部进程调用的 IO 瓶颈和复杂的系统级部署门槛。

在缺乏参考文本的情况下，系统主要依赖声学特征进行音素级分析。检测流程如下：

1. 音频切分：将输入音频以约10毫秒为窗口进行分帧，与人类发音一个音节或字符的持续时间相匹配。
2. 特征提取：对每帧计算RMS能量、零交叉率、谱质心、谱带宽及基频等特征。
3. CTC分段：通过CTC模型的逐帧预测概率，将连续帧按最大后验token切分为音素段，同时合并过短段以减少噪声干扰。
4. S2评分计算：每个音素段根据线性加权特征计算惩罚分数，再通过1减去惩罚分数得到最终S2质量评分。系统同时记录可能异常的原因，例如“音素过短”、“能量低”、“模糊发音”等。需要注意，出于性能考虑，无参考模式下系统仅将 CTC 分段作为声学检测的载体，并不进行完整的 ASR 文字转写，以规避高昂的推理成本。
5. 句级聚合：将音素级的最终质量分数结合10百分位和平均分进行线性聚合（40%的P10 + 60%的Mean），得到句级吞音评分及风险分层。

我使用了9个维度的声学特征以及基础的声学设置

对于输入语音信号 $x$，首先重采样至16kHz并分帧（帧长10ms）。系统提取一组多模态声学特征向量 $\mathbf{f}\in {\mathbb{R}}^9$，旨在捕捉吞音现象的物理表征（如时长压缩、能量衰减、频谱模糊等）。
定义第 $k$ 个音素段的声学惩罚评分 $S_{linear}^{(k)}$。首先计算归一化后的线性加权和：
$$S_{linear}^{(k)}=\sum _{i=1}^M{w}_i\cdot \text{clamp}(\mathcal{N}(f_i^{(k)}))$$

其中，$w_i$ 为经过归一化后的特征权重（总和为 1，如后验概率权重极大值为 $w_{pos}=6.0/16.5$，时长权重 $w_{dur}=3.0/16.5$），$\mathcal{N}(\cdot )$ 为各自维度的归一化函数，$\text{clamp}(\cdot )$ 将所有特征罚分限制在 $[0,1]$ 区间。关键维度的归一化策略包括：

• Duration Penalty : ${\mathcal{N}}_{dur}=(T_{short}-T_{dur})/T_{short}$，用于惩罚时长显著短于阈值 $T_{short}$ 的片段。
• Posterior Confidence : ${\mathcal{N}}_{prob}=1-{\bar{p}}_{ctc}$，反映模型对当前音素识别的置信度，低置信度经常对应发音模糊。
• Spectral Entropy : ${\mathcal{N}}_{ent}=H(p)/H_{max}$，熵值越高表示频谱分布越无序，对应模糊发音。
• Energy & Voicing : 归一化的均方根能量（RMS）与发声率（Voicing Ratio），对于低能量、无发声迹象的区段进行惩罚。

最终该音素段的声学评价分数（S2）通过将惩罚分数从 1 中扣除得到：

$$S_{acoustic}=\text{clamp}(1-S_{linear})$$

该计算方式直接且高效，避免了复合非线性函数带来的不可控失真率问题，并在代码工程化中具有极高的可解释性与容错能力。

duration: 惩罚音素过短的情况，吞音或吐字不清通常表现为音素被压缩，时长短于正常音素
blank: 惩罚空白静音过长的片段，通常为不该出现长静音的地方出现了停顿假象
posterior: 惩罚模型对音素的低置信度
energy: 惩罚模型对音素的能量过低
entropy: 惩罚音素频谱不集中（模糊、不确定）
voicing: 惩罚低发声率音素
zcr: 惩罚过零率偏高（高频噪声多）的音素
spectral: 惩罚谱质心（频率成分）偏高等异常
bandwidth: 惩罚谱带宽过窄（发音不清晰、共振峰弱）的音素

# 采样率：所有音频在处理前会被重采样到该采样率（Hz）
SAMPLE_RATE = 16000

# 每帧时长（毫秒），决定特征帧的 hop 长度和 CTC 帧率映射
FRAME_MS = 10.0

# CTC 模型中的 blank token ID（通常为 0），用于分割静音/填充
BLANK_ID = 0

# 合并非常短段的阈值（毫秒），小于该时长的段会合并到邻近段
MERGE_SHORT_MS = 10

然而，基于单纯声学特征的无参考文本吞音检测在实际复杂场景中往往效果有限。一方面，由于缺乏足够的标注数据，难以有效利用ADMM等自适应优化方法对参数进行调优；另一方面，正常发音与轻微吞音的声学差异较小，严重依赖人工设定的阈值。由于阈值参数难以精确确定，无论采用分段指数下降还是增广拉格朗日、交替方向乘子法（ADMM）等约束策略，音素级吞音的区分度仍然有限，难以获得理想的检测性能。

针对这一问题，在部分业务场景中可以将原本的无参考文本音频，通过构建或获取对应文本，将其转化为“有参考文本”场景，并利用CTC强制对齐方法进行音素或字符的对齐分析。实验证明，这种策略显著提升了吞音检测的准确性和鲁棒性，使得系统在语音质量评估和异常发音识别中表现更加可靠。 比如在音频质量识别场景，我们不单要依赖吞音检测，前置肯定有VAD，ASR，PUNC，ITN早都把音频转为文本了（甚至一些模型也附带了时间戳和说话人分离功能），那进一步我们可以采取手动纠正的方式进一步确保文本准确率。

二.有参考文本场景

在存在参考文本 $T_{ref}$ 的场景下，系统优先利用 Qwen3-ForcedAligner-0.6B 技术获取标准音素/字符序列的时间边界。相比于传统基于 HMM 或纯 CTC 的对齐方法，Qwen3-ForcedAligner 在长语音、背景噪声以及非标准发音场景下具有更强的鲁棒性。

定义对齐风险评分 $S_{align}$，基于音素的实际时长与语速中值时长的偏差计算：
$$S_{align}=\text{clamp}\left(\frac{T_{median}-T_{actual}}{T_{median}}\cdot \gamma ,0,0.7\right)$$
其中 $T_{median}$ 为句中所有音素时长的中值，$T_{actual}$ 为当前音素的对齐时长，$\gamma$ 为调节系数。若音素缺失（Deletion），则 $S_{align}$ 直接判定为高风险值。

最终的音素级质量评分 $S_{final}$ 采用声学评分 $S_{acoustic}$ 与对齐评分 $(1-S_{align})$ 的加权融合策略：
$$S_{final}=\alpha \cdot S_{acoustic}+\beta \cdot (1-S_{align})$$
其中，$\alpha$ 和 $\beta$ 分别为声学评分与对齐评分的权重（实验设定 $\alpha =0.2,\beta =0.8$）。该公式确保了只要声学特征或对齐结果任一显示异常，最终评价得分即显著降低，从而趋向于吞音判定。

主要步骤如下：
1.参考文本处理：根据语言类型（中文/英文等），将参考文本规范化并转换为对应的 Token 序列。

2.多路径强制对齐：

• 主路径：调用 Qwen3-ForcedAligner-0.6B 模型，利用其强大的语义理解能力将文本与音频精准对齐。
• 回退路径：若 Qwen3 对齐失败或不支持当前语言，则利用 Wav2Vec2 输出的 logits 与参考序列进行 CTC 强制对齐。

3.S1（对齐）评分计算：根据对齐得到的边界，识别音素的时长压缩或完全缺失情况，生成 S1 评分。

4.S2（声学）评分计算：在对齐确定的区间内，计算 RMS 能量、谱熵、后验置信度等特征，生成 S2 声学评分。

5.综合评分与聚合：结合 S1 与 S2，通过加权公式得到最终音素级“惩罚分数”，并最终聚合成句级评分。

通过将声学特征分析与 Qwen3 强制对齐技术有机结合，系统在有参考文本场景下的吞音检测效果获得了显著提升。
在实现过程中，处理短时噪声与特征对齐是两个主要的技术难点。
首先，CTC 解码产生的原始片段可能包含极短的噪声帧（<10ms）。本文在 ctc_segments 方法中实现了动态合并策略，将过短片段归并至邻近的主音素段，有效降低了假阳性率。
其次，为了统一不同量纲的特征（如能量、过零率、时长），系统在 score_s2 方法中对所有特征进行了归一化处理（Clamping），并根据先验知识设定了 THRESH_DURATION 、 THRESH_ENERGY 等阈值，用于生成可解释的异常原因报告（如“音素过短”、“能量低”等）。

（注：在早期版本中，处理英文等语种时系统曾严重依赖 phonemizer 与 espeak-ng 等底层 NLP 工具进行音素转换，这不仅导致了极其繁琐的环境配置问题——例如需要通过软链接伪装 espeak-ng 规避源码校验，且极大地拖慢了推理速度。）

三.声学特征分析与评分策略

为了使各项声学特征在统一的空间内形成惩罚评分并可用于业务逻辑，必须对各种取值范围（无上限或包含负值）的物理特征进行有效的归一化。在工程实践中，我们对不同非线性函数进行了考量：

• Sigmoid 或 Tanh 激活函数在极值处容易产生严重的梯度消失或平滑效应，使得严重吞音和中等吞音的特征表现被过度挤压在一起，不利于阈值判定和风险分层。
• 无上界函数 (如 ReLU 或 Swish) 则难以形成概率化的评价指标（其可能惩罚无限大），导致在多个声学维度加权时，某一项噪声异常就会导致整个分数崩溃。

截断线性惩罚 (Clamped Linear Penalty) —— 本文最终方案

通过权衡区分度与可解释性，并在结合实际语料表现后，系统最终摒弃了复杂的分段指数衰减等非线性映射，转而采用了每个维度专属的截断阈值计算 + 1 次全局 Clamp 并线性加权的极简策略，不仅将计算成本降至最低，更避免了不同维度非线性映射互相干涉造成的假阳性与特征消失问题。

1. 单特征归一化：对持续时长（D_short）、能量（energy）、过零率等特征，首先计算其与期望值的偏差比例，随后通过硬截断 Clamp(0, 1) 将单项惩罚缩放至 $[0,1]$ 范围。
2. 线性加权融合：赋予诸如后验置信度极高权重（$w_{pos}=6.0$），时长较高权重（$w_{dur}=3.0$）等，进行加权求和，得到总体线性罚分 $S_{linear}$。
3. 极性反转：为符合“分数越高越好”的认知范式，系统计算 $S_{acoustic}=\text{clamp}(1-S_{linear})$。

通过这套直接而确定的评分机制，系统不仅在面对长距离错位、非特异性背景噪音时具备了很强的鲁棒性，同时结合业务场景输出了精确度极高的详细原因列表（如“音素过短”、“基频剧烈变化”等）。结合 Qwen3-ForcedAligner 的大模型级对齐机制，固定了分析窗口，有效解决了时序特征漂移现象，大幅超越了传统基于规则匹配与人工阈值枚举的评估系统，假阳性率降低了 15% 以上。

四.系统集成与架构

为了保证生产环境的可维护性与扩展性，系统采用了四层解耦架构：

1. Config 层：集中管理所有权重系数（如 w_duration, w_energy）与判定阈值。
2. FeatureExtractor 层：无状态特征提取，负责基础声学特征（RMS, ZCR, Spectral）的并行计算。
3. Scorer 层：包含 S1AlignmentScorer 与 S2AcousticScorer，专注于单一维度的评估逻辑。
4. Orchestrator 层：作为主控入口 (SwallowPredictor)，负责多模型调度（Wav2Vec2 + Qwen3）及评分聚合逻辑。

五. 总结

本文提出了一种基于 LLM 强制对齐与统一特征归一化线性评分的二合一吞音检测方案。该方案不仅兼顾了无参考文本的灵活性，更通过引入先进的对齐模型提升了有参考场景下的检测上限。未来工作将集中在多音字解歧义算法的优化及基于少量标注数据的参数动态调优。