前几年因工作需要，我曾系统研究并深入应用了AI相关的深度神经网络技术，包括DNN、CNN、RNN和LSTM等，并将这些模型成功落地于实际产品中。近几年来，我的工作重心转向国产通用办公软件（WebOffice）的研发，期间虽通过技术博客和公众号等渠道零星接触过大语言模型、多模态大模型和AI Agent等相关内容，但一直缺乏系统化的理论构建。因此，我决定从今天起重新夯实基础，逐步开展系统学习，并以输出整理知识笔记的方式，持续积累和深化理解。

语言

---

语言的分类是一个非常庞大且有趣的领域，语言学家从不同角度对世界上的语言进行划分。主要的分类方法有以下几种：

1. 谱系分类（发生学分类）

这是最常见、最重要的分类方法。它根据语言的历史渊源和共同祖先来分类，类似于一个“语言家族树”。

• 核心概念：拥有共同祖先（原始母语）的语言被归入同一个语系。

• 分类层级：语系 → 语族 → 语文 → 语言 → 方言

• 主要语系举例：

• 汉藏语系：以使用人数众多而闻名。

• 汉语族：汉语及其众多方言（官话、粤语、闽南语、吴语等）。

• 藏缅语族：藏语、缅甸语、彝语、景颇语等。

• 印欧语系：分布最广的语系，覆盖欧洲、美洲、大洋洲和南亚。

• 日耳曼语族：英语、德语、荷兰语、瑞典语。

• 罗曼语族（拉丁语族）：西班牙语、法语、意大利语、葡萄牙语、罗马尼亚语。

• 斯拉夫语族：俄语、波兰语、捷克语、乌克兰语。

• 印度-伊朗语族：印地语、乌尔都语、波斯语（法语）、普什图语。

• 阿尔泰语系（假说，存在争议）：土耳其语、哈萨克语、维吾尔语、蒙古语、满语。（日语和韩语有时被提议归入此语系，但证据不足，多数认为系属不明）

• 南岛语系：分布范围最广的语系，遍布太平洋和印度洋岛屿。

• 包括马来语、印尼语、他加禄语（菲律宾）、夏威夷语、毛利语、台湾南岛语言（如阿美语、排湾语）。

• 闪含语系（亚非语系）：阿拉伯语、希伯来语、古埃及语、阿姆哈拉语（埃塞俄比亚）。

• 乌拉尔语系：芬兰语、匈牙利语、爱沙尼亚语。

• 南亚语系：高棉语（柬埔寨）、越南语、孟语。

• 壮侗语系（侗台语系）：泰语、老挝语、壮语、侗语、傣语。

• 系属不明的语言：日语、韩语（韩语）、巴斯克语（西班牙北部）等。

2. 类型学分类

这种分类不关心语言的历史来源，只关注语言的结构特征和语法形式。

• 按形态分类（最重要）：根据单词如何构成来表达语法意义（如复数、时态、格）。

• 孤立语：缺乏词形变化，通过词序和虚词表达语法关系。

• 例子：汉语、越南语、泰语。

• 特点：一个词就是一个语素，形式不变。如“我吃饭”和“他吃饭”，“吃”这个动词不变。

• 屈折语：有丰富的词形变化，通过单词内部的屈折变化（变位、变格）来表达语法关系。

• 例子：拉丁语、俄语、阿拉伯语、德语。

• 特点：一个词缀可能同时表达多种含义（如德语动词变位同时包含人称、数、时态信息）。

• 黏着语：通过将多个具有特定意义的词缀（语素）像黏土一样“粘”在词根上来构成单词和表达语法关系。

• 例子：日语、韩语、土耳其语、芬兰语、维吾尔语。

• 特点：一个词缀只表达一种含义，界限清晰。如日语“食べさせられました”（被迫让吃）。

• 多式综合语：一个单词本身就像一个句子，由多个语素复合而成。

• 例子：许多美洲原住民语言，如因纽特语。

• 按句法分类（语序）：根据句子中主语(S)、动词(V)、宾语(O) 的基本顺序分类。

• SOV（主-宾-动）：最常见。如日语、韩语、土耳其语、藏语。

• SVO（主-动-宾）：第二常见。如汉语、英语、法语、泰语、俄语、西班牙语。

• VSO（动-主-宾）：较少见。如古典阿拉伯语、威尔士语、爱尔兰语。

文字

---

世界上所有的文字体系，大致可以分为两类：表音文字和表意文字。

绝大多数语言使用的都是表音文字，比如英语、法语、德语、拉丁语等，它们用符号直接表示发音单位。

而表意文字则相对稀少。除了几种已经不再使用的古老文字——如古埃及的象形文字、美索不达米亚的楔形文字和玛雅文字之外，目前仍在使用的表意文字系统几乎仅存两种：一种是用于中国纳西族宗教仪式和文献记录的东巴文，另一种，就是【汉字】。

表意文字与表音文字对比

特征	表意文字	表音文字
定义	字形直接表示词的意义，不直接与语音关联。字形与意义之间有较为直观的联系。	字符表示语音单位（如音素、音节），字形与意义无直接联系，需通过读音理解词义。
代表文字	汉字（如象形字“山”、指事字“本”、会意字“休”）。	拼音文字（如英语、法语、德语等使用的拉丁字母系统）。
示例说明	- “山”：象形字，像山的轮廓<br>- “本”：指事字，在“木”下加横表示树根<br>- “休”：会意字，人靠树表示休息	英语“cat”：字母 c、a、t 分别表示音素 /k/、/æ/、/t/，组合成词表“猫”之义。
字形特点	结构复杂多样，能较直观反映事物形状或概念。	字形简单，字母数量有限，组合灵活，易于书写与学习。
语音关联	不直接表音，可能导致不同地区读音差异较大。	直接记录语音，能较准确反映发音，便于不同语言背景的人学习与交流。
意义表达	字形本身可提示意义，但随时代发展，部分字形与意义之间的联系可能逐渐模糊。	字形不直接表意，需通过掌握发音和单词含义理解内容。
学习与使用	需记忆大量字符的形、音、义，入门难度较高。	掌握字母及拼读规则后可拼写多数词汇，学习门槛较低。

“语言”和“文字”：语言是口语系统，文字是记录语言的视觉符号系统。一种语言可以用不同的文字系统书写（如土耳其语曾用阿拉伯字母，现用拉丁字母），反之，一种文字系统也可以用来书写多种不同的语言（如拉丁字母用于英语、法语、德语等）。

语言建模

---

形式语言是一组遵循特定语法和文法的规则与符号，用于与计算器或机器通信，这类语言力求无二意和精确，具有明确的词语和使用规则，适合编程和技术交流，如Java，Python，C/C++，GoLang等。

我们日常使用的自然语言不是设计出来，而是随着个人之间的社会交流需求而产生和发展的，是复杂和模棱两可的，反应了人类文化和经验的丰富多样性。如果想让计算机理解人类自然语言或其载体文字的语义，就需要通过建模来定义语言结构。

自然语言建模是人工智能领域的核心课题之一，旨在构建能够理解、生成和处理人类语言的计算模型。近年来，随着大数据和算力的提升，语言模型尤其是大规模预训练模型取得了显著进展。本文将从自然语言建模的两大经典范式——统计语言模型和神经语言模型出发，介绍其基本思想与代表性方法，并进一步探讨如何系统评估语言模型的性能与质量。

一、统计语言模型（Statistical Language Models, SLM）

统计语言模型依托概率论与数理统计，通过对大规模语料中词语共现模式的统计，估计序列的合理性。其基本假设是：一个句子出现的概率等于其中每个词在给定上文条件下出现的条件概率的连乘。

1.1 n-gram 模型及其原理

n-gram 是最广泛使用的统计语言模型，基于马尔可夫假设，即当前词仅依赖于前 n–1 个词。概率估计通常采用最大似然估计（MLE）。例如，tri-gram 模型中：

1.2 平滑技术

为解决数据稀疏导致的零概率问题，常采用平滑方法，如加法平滑（Additive Smoothing）、回退（Backoff）与插值（Interpolation），赋予未出现n-gram一个合理概率值。

1.3 优缺点总结

• 优点：结构简单、可解释性强，训练和推理效率高，特别适合资源受限的场景。

• 缺点：

• 严重依赖局部上下文，无法建模长距离依赖；

• 数据稀疏问题显著，泛化能力弱；

• 缺乏语义抽象能力，难以处理一词多义与复杂语境。

二、神经语言模型（Neural Language Models, NLM）

神经语言模型利用深度学习技术，将词汇映射为低维稠密向量（词嵌入），并通过神经网络结构建模词汇间的非线性关系，显著提升了对语言结构和语义的理解能力。

2.1 模型架构演进

• 前馈神经网络模型：使用固定窗口上下文，通过全连接层预测下一个词；

• 循环神经网络（RNN/LSTM）：引入循环结构，具备短期记忆能力，可处理变长序列；

• Transformer 模型：基于自注意力机制（Self-Attention），并行化能力强，能够捕捉长程依赖，成为当前大语言模型（如GPT、BERT）的基石。

2.2 预训练与微调范式

现代神经语言模型普遍采用“预训练 + 任务微调”的策略：

• 预训练：在大规模无标注语料上进行自监督学习（如遮蔽语言建模、因果语言建模）；

• 微调：针对具体下游任务（如文本分类、问答、生成）进行有监督训练。 这一范式极大提升了模型的泛化能力和样本效率。

2.3 典型框架举例

• RNN/LSTM：具备较强的序列建模能力，但难以并行训练，梯度消失/爆炸问题显著；

• Transformer：支持并行计算，通过位置编码与注意力机制有效建模上下文信息；

• 大语言模型（LLM）：基于千亿级参数的Transformer结构，涌现出指令遵循、推理链等能力。

三、语言模型的评估体系（Evaluation of Language Models）

评估是判断语言模型是否有效的关键，通常分为内部评估与外部评估两大类。

3.1 内部评估（Intrinsic Evaluation）

关注模型本身的语言建模质量，常用指标包括：

• 困惑度（Perplexity, PPL）：衡量模型对样本的预测不确定性，PPL越低表示模型越确定；

• 似然度（Log-Likelihood）：反映模型对数据分布的拟合程度。

3.2 外部评估（Extrinsic Evaluation）

将模型嵌入实际应用中，通过下游任务表现评价其效用：

• 任务指标：如机器翻译中的BLEU，摘要中的ROUGE，分类中的Accuracy、F1等；

• 人工评估：对生成结果进行流畅度、相关性、一致性等多维度人工评分。

3.3 实际环境中的模型验证

除了传统评估方法，还需在真实场景中验证模型的实用性与鲁棒性：

• A/B测试：将新模型与基线模型在线对比，衡量业务指标提升；

• 强化学习来自人类反馈（RLHF）：通过奖励模型对齐生成内容与人类偏好；

• 持续监控：检测模型在生产环境中的性能衰减、偏见出现和资源消耗情况。

• 监控模型在实际环境中的表现与资源消耗。

四、结语

自然语言建模从早期的统计方法发展到如今的神经架构与预训练大模型，不仅在技术层面实现了跨越，也极大推动了语言AI的应用落地。理解统计与神经两类模型的基本原理与评估方法，有助于我们更系统地把握语言模型的发展脉络，并在实际项目中做出更合理的技术选型与评估决策。