你喊破喉咙机器也没反应？ASR 焊死 70 年语音识别进化史，从 Audrey 到 Whisper 大模型一篇打通

本系列是学习 RAG、语音大模型的整理笔记，素材来自开源项目公开文档、学术公开资料。

本篇聚焦自动语音识别（ASR）：从声学特征、传统统计方法到端到端大模型，梳理技术演进、主流模型、工程实践与生产部署要点。文中涉及的 WER、CER、RTF 等指标均为公开资料整理，仅供学习参考。

从 1952 年识别十个数字的"Audrey"系统，到今天 Whisper 能听写 99 种语言，自动语音识别（ASR）走过了七十余年。本文以十九个主题系统梳理 ASR 的核心原理、模型演进、工程实践与生产部署，带你从声学特征一路走到端到端大模型。

---

导读

本篇将涵盖以下核心内容：

• 基础与演进：ASR 的任务分类、核心技术栈与三代架构演进；
• 传统方法：HMM、GMM 与声学特征提取；
• 深度学习方法：DNN-HMM、CTC、Attention、Transducer；
• 主流模型：LAS、Conformer、Whisper、Paraformer 等对比与选型；
• 工程实践：预训练微调、流式识别、多语言与方言、语音增强；
• 生态应用：说话人技术、情感识别、工具框架与部署优化；
• 评估与落地：评估指标体系、最佳实践与常见问题、术语表。

---

---

一、ASR 概述与基础

1.1 什么是 ASR

ASR（Automatic Speech Recognition，自动语音识别）是将人类语音信号转换为文本的技术。它是人机语音交互的第一道关口：唤醒词、语音输入、会议转写、字幕生成、智能客服，无一不以 ASR 为起点。

1.2 ASR 发展历程

阶段	时间	代表技术	特点
萌芽期	1950s-1970s	模板匹配、Audrey	仅能识别少量孤立词
统计期	1980s-2000s	GMM-HMM	隐马尔可夫建模，走向大词汇量
深度学习期	2010s	DNN-HMM	声学模型深度学习化，精度跃升
端到端期	2015年至今	CTC、Attention、Transducer	单一模型直接映射语音→文本
大模型期	2020s 至今	Whisper、Paraformer	多语言、多任务、通用能力强

1.3 ASR 任务分类

• 按输入：孤立词识别、连续语音识别、关键词唤醒；
• 按输出：普通文本、带标点文本、带时间戳文本、字幕；
• 按模式：离线（非流式）识别、流式（实时）识别；
• 按语种：单语种、多语种、方言识别。

1.4 ASR 核心技术栈

语音信号处理（采样、降噪、VAD）
    ↓
声学特征提取（Fbank、MFCC）
    ↓
声学模型（语音→音素/字符）
    ↓
语言模型（文本序列概率）
    ↓
解码与后处理（解码器、标点、逆文本正则化）

---

二、ASR 系统架构演进

2.1 传统流水线架构

传统流水线常被称为"三板斧"：声学模型（AM）+ 发音词典（Lexicon）+ 语言模型（LM） 各自独立训练，解码时再通过加权搜索得到最优文本。这种方案思路清晰，但工程实现复杂，且各模块的误差会逐级累积。

2.2 混合式架构（DNN-HMM）

该架构用深度神经网络替换 GMM 作为声学模型，由 HMM 负责时序建模，在 2010 年代初大幅压低了词错误率。作为传统方案与深度学习之间的过渡形态，它至今仍在部分工业场景中服役。

2.3 端到端架构

用一个神经网络直接完成"语音→文本"映射，去掉发音词典与独立语言模型。代表范式：CTC、Attention Encoder-Decoder、Transducer。优势是训练目标一致、部署简单，已成为当前主流。

---

三、传统 ASR 方法

3.1 隐马尔可夫模型（HMM）

HMM 将语音看作"隐藏状态序列"（音素）的马尔可夫链，每个状态发射一个观测（声学帧）。它解决了"语音长度可变"与"音素边界未知"两大难题。

3.2 高斯混合模型（GMM）

GMM 用多个高斯分布的加权混合拟合声学特征的分布，作为 HMM 每个状态的发射概率模型。GMM-HMM 是 2000 年代的工业标准，后逐步被 DNN 取代。

3.3 声学特征提取

常用声学特征对比

特征	原理	优点	缺点
Fbank	梅尔滤波器组能量	信息保留完整，适合 DNN	特征间相关性高
MFCC	Fbank 再取 DCT	去相关、维度低	丢失部分细节信息
Pitch/Prosody	基频与韵律	补充韵律信息	抗噪性差

特征提取代码实现

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
import librosa
import numpy as np

def extract_features(audio_path: str, n_mels: int = 80):
    waveform, sr = librosa.load(audio_path, sr=16000)
    # Fbank 特征：80 维梅尔滤波器组
    fbank = librosa.feature.melspectrogram(
        y=waveform, sr=sr, n_mels=n_mels, n_fft=400, hop_length=160
    )
    log_fbank = librosa.power_to_db(fbank)
    return log_fbank.T  # shape: (time_frames, n_mels)

---

四、深度学习 ASR 方法

4.1 DNN-HMM 混合模型

用 DNN 输出各状态的后验概率替代 GMM 的似然估计，上下文建模能力大幅增强。训练需要帧级对齐（通常由 GMM-HMM 提供），工程链路复杂。

4.2 CTC（Connectionist Temporal Classification）

CTC 引入空白符（blank）与重复合并机制，允许"序列长度大于标签长度"的软对齐，无需帧级标注即可训练。经典模型如 DeepSpeech 2、Wav2Letter。

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
import torch

# CTC 损失示意：模型输出长度 T，标签长度 L，T >= L
ctc_loss = torch.nn.CTCLoss(blank=0, reduction="mean")
loss = ctc_loss(
    log_probs,        # (T, batch, vocab)
    targets,          # 文本标签序列
    input_lengths,    # 每样本有效帧数
    target_lengths    # 每样本标签长度
)

4.3 Attention-Based Encoder-Decoder

Encoder 将语音编码为向量序列，Decoder 在注意力机制的引导下逐个生成 token。对齐由注意力隐式学习，适合离线高质量识别（如 LAS）。

4.4 Transducer（RNN-T）

在 Encoder 之上引入"预测网络 + 联合网络"，在每个时间步决定"继续听"还是"输出 token"，天然支持流式解码，成为实时 ASR 的工业主流（如 Google 的语音搜索）。

---

五、端到端 ASR 模型

5.1 Listen-Attend-Spell (LAS)

2016 年 Google 提出的经典端到端模型：Listener（听）编码语音，Attender（注意力）对齐，Speller（拼写）逐字生成文本。离线性能优异，但不适合流式场景。

5.2 Conformer

在 Transformer 基础上引入卷积模块，兼顾"全局注意力"与"局部上下文"建模，成为当前端到端 ASR 声学编码器的主流架构（Whisper、Paraformer 均采用其思想）。

5.3 Whisper

OpenAI 2022 年开源的通用语音识别模型：基于 68 万小时弱监督数据训练，支持多语言、多任务（识别、翻译、时间戳），鲁棒性强，成为开源 ASR 的事实标准之一。

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
import whisper

model = whisper.load_model("base")
result = model.transcribe("meeting.wav", language="zh")
print(result["text"])  # 转写文本

---

六、主流 ASR 模型详解

6.1 模型架构全景

模型	架构	训练范式	流式支持
DeepSpeech 2	CNN+RNN+CTC	监督	否
LAS	Attention Enc-Dec	监督	否
Conformer	卷积+Transformer	监督	可改造
Whisper	Encoder-Decoder	弱监督大语料	否（分块近似）
Paraformer	非自回归	监督	半流式
SenseVoice	多任务 Encoder	监督	否

6.2 主流模型对比

模型	开源	多语言	实时性	中文 WER 参考（公开数据）
Whisper	是	99 语言	离线	较低（大模型更优）
Paraformer	是	中/英	支持流式	低（中文场景强）
SenseVoice	是	50+ 语言	离线	低
K2 系列	是	中/英	流式	低（可控性强）

注：文中 WER 等为公开参考基准，指标受数据集、噪声、语种影响，实际项目务必使用自有数据集实测，榜单数据仅供参考，不代表"拿来即可达到该效果"。

6.3 Whisper vs Paraformer 对比

维度	Whisper	Paraformer
定位	通用多语言大模型	中文场景工业化部署
推理速度	较慢（自回归）	快（非自回归）
流式能力	不支持原生流式	支持流式版本
中文精度	强	强（中文语料更充分）
部署成本	中高	低
选型建议	多语言、离线批处理	中文实时交互场景

---

七、预训练与微调策略

7.1 自监督预训练

在无标注海量语音上，通过"掩码预测"（如 Wav2Vec 2.0）或"对比学习"（如 wav2vec 2.0、HuBERT、wavLM）学习通用语音表征，再在下游 ASR 任务上微调，显著降低标注依赖。

7.2 Wav2Vec 2.0 预训练

核心思路：将语音编码为离散化的"伪标签"，模型预测被掩码位置的伪标签，学习到对噪声与说话人变化鲁棒的语音表征。仅需 10 分钟标注数据即可达到传统方法水平。

7.3 微调策略

• 全量微调：数据充分时最优；
• LoRA/Adapter：轻量微调，训练快、显存省，适合领域适配（医疗、法律、客服）；
• 领域数据配比：通用数据 + 领域数据混合，防止灾难性遗忘；
• 数据增强：加噪、变速、混响，提升鲁棒性。

---

八、流式 ASR 与实时处理

8.1 流式 ASR 架构

流式 ASR 的核心约束是低延迟：语音边说边出字。架构上要求模型只能看到"当前及过去"的帧，常用方案包括 RNN-T 与流式 Conformer（chunk 内注意力）。

8.2 流式处理策略

• Chunk 流式：固定窗口（如 320ms）局部注意力，配合"上下文缓存"保持语义连贯；
• 延迟控制：首字延迟（first token latency）与句末延迟（last token latency）是核心指标；
• 半流式：流式出字 + 句尾二次精修（如 Paraformer 的"半流式"）。

8.3 流式 ASR 实现

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
from funasr import AutoModel

# FunASR 流式示例（Paraformer 流式版）
model = AutoModel(
    model="paraformer-zh-streaming",
    model_revision="v2.0.4",
)
# 按 chunk 输入音频块，逐步产出文本
chunks = chunk_audio("live.wav", chunk_ms=320)
for text in model.generate(input=chunks, is_final=False):
    print(text, end="")

8.4 端点检测（VAD）

VAD（Voice Activity Detection）判断"何时有人说话、何时结束"，是流式系统的前置模块。主流方案：WebRTC VAD（轻量）、Silero VAD（深度模型，精度高）。

---

九、多语言与方言 ASR

9.1 多语言 ASR 挑战

• 语种混淆：相近语种互相干扰；
• 数据不均衡：低资源语种标注稀缺；
• 音系差异：声调语言（中文）与音节语言差异大；
• 代码混合：中英混说、方言夹普通话。

9.2 多语言模型对比

模型	语种数	特点
Whisper	99	弱监督大语料，零样本泛化强
MMS (Meta)	1100+	覆盖极广，低资源语种友好
SenseVoice	50+	中文为主，兼顾多语种
XLSR/Wav2Vec2	128	自监督表征，需下游微调

9.3 方言处理

• 方言专用模型：如粤语、四川话专用 ASR；
• 多方言联合训练：共享声学表征，方言 ID 作为条件输入；
• 转写-翻译级联：方言先转写为汉字（方言字），再规范化为普通话表达。

---

十、语音增强与预处理

10.1 语音增强技术栈

采集（麦克风阵列、远场拾音）
    ↓
降噪（谱减法、维纳滤波、深度降噪）
    ↓
去混响（加权预测误差 WPE）
    ↓
VAD 端点检测与分段
    ↓
送入 ASR

10.2 常用增强方法

• 传统方法：谱减法、MMSE、维纳滤波（轻量但效果有限）；
• 深度方法：DeepFilterNet、FRCRN、DEMUCS（端到端降噪，效果显著）；
• 阵列处理：波束成形（Beamforming）、盲源分离，多麦克风场景首选。

10.3 端点检测与分段

• 会议转写前先 VAD 切分出"每句话"；
• 长音频分段送入 ASR，避免超长输入截断；
• 分段点需保留 200-500ms 上下文，防止断词。

---

十一、说话人相关技术

11.1 说话人识别技术栈

说话人识别（Speaker Recognition）与 ASR 互补：ASR 管"说了什么"，说话人识别管"谁在说"。技术栈包括说话人嵌入（Embedding）提取 + 相似度比对/分类。

11.2 说话人嵌入提取

主流嵌入模型：ECAPA-TDNN（精度高）、ResNet-SE、WavLM（自监督表征）。

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
from speechbrain.inference.speaker import EncoderClassifier

classifier = EncoderClassifier.from_hparams(
    source="speechbrain/spkrec-ecapa-voxceleb"
)
signal = classifier.load_audio("speaker_a.wav")
embedding = classifier.encode_batch(signal)  # 192 维说话人嵌入

常见应用：声纹注册与验证、会议"谁在何时说话"（说话人日志，Speaker Diarization）。

---

十二、语音情感识别

12.1 情感识别架构

情感识别（SER）从语音的韵律、能量、语速等线索判断情绪（高兴、愤怒、悲伤等），架构为：特征（Fbank + 韵律特征）→ 时序模型（CNN/LSTM/Transformer）→ 情感分类。

12.2 情感模型对比

模型	架构	特点
传统方法	GMM/SVM	特征工程依赖强
Deep CNN	卷积	局部模式捕捉好
LSTM/GRU	循环	时序建模自然
wav2vec 2.0 + 分类头	自监督+微调	数据效率高、精度领先

12.3 情感识别实现

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
from transformers import Wav2Vec2ForSequenceClassification, Wav2Vec2Processor

processor = Wav2Vec2Processor.from_pretrained("superb/wav2vec2-base-superb-er")
model = Wav2Vec2ForSequenceClassification.from_pretrained("superb/wav2vec2-base-superb-er")

inputs = processor(audio_array, sampling_rate=16000, return_tensors="pt")
logits = model(**inputs).logits
emotion = logits.argmax(dim=-1).item()  # 情感类别索引

---

十三、工具框架与 SDK

13.1 主流工具框架

• Whisper / faster-whisper：OpenAI 通用模型，faster-whisper 基于 CTranslate2 加速；
• FunASR（阿里）：中文生态最全，含 Paraformer、SenseVoice、VAD、标点全套件；
• Kaldi / K2：学术与工业研究经典，自定义能力强；
• SpeechBrain：模块化 PyTorch 工具包，训练与推理一体化；
• WeNet：流式/非流式统一，工业部署友好；
• ESPnet：研究导向，覆盖 ASR/TTS/说话人全链路。

13.2 框架对比

框架	中文支持	流式	部署难度与适用人群
faster-whisper	好	否	低：通用快速落地
FunASR	极好	是	低：中文生产首选
WeNet	好	是	中：定制流式系统
Kaldi/K2	好	是	高：研究者
SpeechBrain	好	可扩展	中：训练与研究

13.3 SDK 使用示例

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
from funasr import AutoModel

# 一句话搞定中文识别 + VAD + 标点
model = AutoModel(
    model="paraformer-zh",
    vad_model="fsmn-vad",
    punc_model="ct-punc",
)
result = model.generate(input="speech.wav")
print(result[0]["text"])

---

十四、模型训练实战

14.1 训练流程

数据采集与清洗 → 音频预处理（16kHz 单声道）→ 特征提取
    → 训练/验证/测试集划分 → 模型训练 → 评估迭代
    → 导出（ONNX/TensorRT）→ 部署

14.2 数据集准备

• 开源中文数据：AISHELL-1/2、WenetSpeech、Common Voice 中文集；
• 标注格式：文本转写 + 音频时长 + 说话人信息，需严格对齐检查；
• 数据清洗：过滤噪声段、静音过长段、转写错误样本；
• 时长配比：领域数据建议占比 20%-50%，通用数据保底。

14.3 训练配置

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
# 训练配置示例
model: paraformer-zh
feature:
  fbank: 80
  sample_rate: 16000
train:
  batch_size: 32
  epochs: 50
  optimizer: adamw
  lr: 0.001
  scheduler: warmup_decay
  mixed_precision: true
  grad_clip: 5.0
augmentation:
  speed: [0.9, 1.1]
  noise: true
  spec_augment: true

---

十五、生产部署与优化

15.1 部署架构

客户端 → 网关（鉴权/限流）→ VAD 服务 → ASR 推理服务
    → 后处理（标点/ITN）→ 下游应用（客服/字幕/会议）

推理服务支持 GPU（TensorRT、vLLM）与 CPU（ONNX Runtime、CTranslate2）双轨运行，并可按并发需求弹性伸缩。

15.2 性能优化策略

• 模型量化：INT8/FP16 量化，速度提升 2-4 倍，精度损失可控；
• 批处理：动态 batching 提升 GPU 吞吐；
• 蒸馏：大模型蒸馏为小模型，降低延迟；
• 缓存：热词、常用短语识别结果缓存；
• 热词注入：领域专名（人名、产品名）通过上下文偏置提升命中率。

15.3 Docker 部署

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
FROM nvidia/cuda:12.1-runtime-ubuntu22.04

RUN apt-get update && apt-get install -y python3-pip ffmpeg
COPY requirements.txt .
RUN pip install -r requirements.txt

COPY app/ /app/
WORKDIR /app
EXPOSE 8000
CMD ["uvicorn", "asr_server:app", "--host", "0.0.0.0", "--port", "8000"]

15.4 监控与告警

• 质量指标：实时 WER 抽样评测、置信度分布；
• 性能指标：P50/P95 延迟、QPS、GPU 利用率；
• 可用性：服务存活、错误率、排队时长告警；
• 数据回流：线上识别结果匿名化后回流，持续迭代。

---

十六、评估指标与基准测试

16.1 评估指标体系

类别	指标	说明
识别精度	WER / CER	词/字符错误率，越低越好
实时性	RTF、首字延迟	RTF<1 表示快于实时
鲁棒性	噪声/远场/方言分项	分场景评估
稳定性	长音频漂移、重复/漏字	工程必检

16.2 核心指标详解

• WER（词错误率）：(插入+删除+替换) / 总词数，中文常用 CER（字符错误率）；
• RTF（实时率）：推理耗时 / 音频时长，RTF < 1 即实时；
• 首字延迟：从说话开始到第一个字输出的时间，流式体验关键指标；
• 句子准确率（SACC）：完全匹配的句子占比，客服质检常用。

16.3 评估代码实现

# 代码为演示示例，完整运行需要补全依赖、参数、文件路径。
import jiwer
from funasr import AutoModel

model = AutoModel(model="paraformer-zh")
ref = ["今天天气怎么样", "帮我订一张机票"]
hyp = [model.generate(input=f"audio_{i}.wav")[0]["text"] for i in range(2)]

cer = jiwer.cer(ref, hyp)
wer = jiwer.wer(ref, hyp)
print(f"CER: {cer:.2%}  WER: {wer:.2%}")

---

十七、高级应用与扩展

17.1 ASR 与 NLU 集成

ASR 的"噪声"会直接污染下游意图识别。实践要点：

• 级联传置信度：ASR 输出的置信度供 NLU 参考；
• 多假设（N-best）输入 NLU，融合决策；
• 领域热词反馈闭环：NLU 识别失败 → 补充热词 → ASR 重试。

17.2 多模态 ASR

• 视听融合（AVSR）：结合唇形与语音，抗噪能力显著提升；
• 语音+文本联合：语音到文本的统一模型（如 SLAM、Qwen-Audio），支持语音问答；
• 语音+情感+说话人：会议分析"谁、在何时、以什么情绪、说了什么"。

17.3 ASR 应用场景

场景	关键需求	推荐方案
智能客服	实时、热词、低延迟	Paraformer 流式 + 热词注入
会议转写	说话人分离、长音频	Whisper + 说话人日志
字幕生成	多语言、标点、时间戳	Whisper 系列
语音搜索	端侧、离线	蒸馏小模型 + ONNX
语音输入法	流式、口语化	RNN-T/流式 Conformer

---

十八、最佳实践与常见问题

18.1 开发最佳实践

1. 先评估再选型：用自有数据跑一遍基线 WER，而不是只盯着榜单数据；
2. VAD 是隐藏瓶颈：大量"识别不准"其实是 VAD 切错导致的；
3. 音频规格统一：16kHz、单声道、PCM 是默认标准；
4. 热词机制必配：专名场景（客服、医疗、法律）收益立竿见影；
5. 标点与逆文本正则化（ITN）：数字、金额、日期规范化是生产必做；
6. 离线优先、流式按需：能离线批处理就不上流式，复杂度完全不同。

18.2 常见问题与解决方案

问题	常见原因	解决方案
专名识别错误	无热词/词典	热词注入、上下文偏置
噪声场景掉字	无降噪	前端增强 + 抗噪训练
长音频漏字重复	超长截断	分段 + 上下文拼接
流式首字慢	模型过大	小模型 + 量化 + chunk 优化
中英混说乱码	语种切换不识别	多语种模型 + 语种检测

18.3 选型指南

中文实时交互（客服/输入法）→ FunASR Paraformer 流式
多语言离线批处理（字幕/转写）→ Whisper / faster-whisper
深度定制（方言/自研）→ WeNet / Kaldi / SpeechBrain 自训
端侧部署 → 蒸馏小模型 + ONNX/TFLite

---

十九、术语表

术语	含义
ASR	Automatic Speech Recognition，自动语音识别
WER / CER	词/字符错误率，识别精度核心指标
RTF	Real-Time Factor，实时率（推理耗时/音频时长）
VAD	Voice Activity Detection，语音活动检测/端点检测
Fbank / MFCC	梅尔滤波器组特征 / 梅尔倒谱系数
HMM	隐马尔可夫模型，时序建模经典方法
GMM	高斯混合模型，传统声学模型
DNN	深度神经网络
CTC	Connectionist Temporal Classification，时序分类损失
RNN-T	Recurrent Neural Network Transducer，流式端到端模型
LAS	Listen-Attend-Spell，注意力端到端模型
Conformer	卷积+注意力混合编码器架构
ITN	Inverse Text Normalization，逆文本正则化
Diarization	说话人日志，区分"谁在何时说话"
Embedding	声学/说话人向量表征
LoRA	Low-Rank Adaptation，低秩微调
Beamforming	波束成形，多麦克风阵列增强

---

结语

ASR 的技术主线非常清晰：从统计模型到端到端，从离线到流式，从单语种到通用大模型。今天的开发者不必再从零训练声学模型——成熟的开源体系（Whisper、FunASR、WeNet）已经把"能用"的门槛降到极低，真正的竞争壁垒在于：

1. 领域适配：热词、方言、专有名词的深度优化；
2. 系统集成：VAD、增强、后处理、NLU 的全链路协同；
3. 工程打磨：延迟、成本、稳定性、可观测性的持续优化。

机器听懂人类语言的时代已经到来，剩下的问题不再是"能不能识别"，而是"在你的场景里，能不能识别得又快又准"。

本文为 ASR 技术全景总览，后续可针对流式架构、Whisper 微调、FunASR 部署等主题单独成篇。

---

小结

• 技术主线：从 GMM-HMM 统计模型到 CTC/Attention/Transducer 端到端，再到 Whisper、Paraformer 等大模型，ASR 正走向多语言、多任务与通用化；
• 选型要点：中文实时交互首选 Paraformer 流式，多语言离线批处理选 Whisper/faster-whisper，深度定制走 WeNet/Kaldi/SpeechBrain 自训；
• 工程关键：VAD 是隐藏瓶颈，音频规格统一（16kHz、单声道）、热词注入、标点与 ITN 是生产必做项；
• 部署优化：量化、动态批处理、蒸馏与缓存可显著降低延迟与成本；
• 评估闭环：用自有数据实测 WER/CER/RTF，配合置信度与数据回流持续迭代，勿仅依赖公开榜单。

---

本文为个人学习整理综述，文中案例、指标来自 LlamaIndex、FunASR、Coqui-TTS、SpeechBrain、HuggingFace 公开文档与公开学术论文，所有模型商标、项目名称归各自版权方所有。

⚠️ 本文所有内容仅做技术学习，不构成任何商业落地建议；文中提到的开源模型商用，请自行遵守对应开源协议（Apache/MIT 等），做好专利、版权合规自查。