当我们向AI提问时，无论是“今天天气不错”，还是“帮我写一段代码”，你是否想过，机器是如何理解这些由文字组成的句子的？毕竟，计算机的世界里只有0和1。

从我们熟悉的文字，到机器能够处理的数字，中间横跨着一道至关重要的桥梁。今天，我们就来揭开这道桥梁的神秘面纱，探索大模型认知语言的基石——语言的数字化表示，并聚焦于这其中的第一个关键步骤：分词 (Tokenization)。

1

为什么要分词？AI的“备菜”环节

想象一下，我们的大脑在阅读“今天天气不错”时，会很自然地将其理解为“今天”、“天气”、“不错”这三个有意义的单元。

这个将连续的文本，切分成一个个独立“语义单元”的过程，就是分词。

如果说整个AI处理语言的过程是一场盛大的烹饪，那么分词，就是最开始的**“备菜”环节**。它将原始、连续的文本“食材”，处理成一个个大小适中、方便后续“烹饪”的词元（Token）。

为什么不直接一个字一个字地处理？

这可能是最符合直觉的想法，比如把“今天天气不错”拆成“今”、“天”、“天”、“气”、“不”、“错”。但这种方式会带来两个致命问题：

语义的迷失

单个汉字往往有多种含义。在“今天”里，“天”指“一昼夜”；而在“天气”里，“天”则指“气候”。如果只看单个的“天”，AI就会感到困惑。英文中这个问题更严重，把“Apple”拆成“A-p-p-l-e”，字母本身几乎不携带任何意义。

效率的瓶颈

一个字一个字地拆，序列会变得非常长，这会极大地增加模型的计算负担，让AI的思考变得异常缓慢。

因此，我们需要一种更高效的单元——词语，或者说Token。

| 什么是Token？

在大模型领域，Token 就是分词后得到的基本语义单元。它通常是一个词（如“天气”），有时也可能是一个字（如“的”）或一个符号。

划重点：Token不仅是技术概念，它和你的钱包息息相关！

• 衡量大模型生成速度的单位是 Token/秒。
• 我们调用大模型API的费用，也是按处理的 Token数量 来计算的。例如，某模型可能是“每百万Token输入4元，输出12元”。

理解了Token，你就理解了大模型计价和衡量性能的基本单位。

2

分词技术演进：从“查字典”到“拼积木”

那么，机器具体是如何实现分词的呢？这项技术也经历了一场有趣的演进。

基于词典

这是最古老也最直观的方法，核心思路很简单：

准备一本超级大的词典。

让机器拿着句子，从头开始在词典里找一个最长的、能匹配上的词。

我们用“乒乓球拍卖完了”这句话来举个例子。假设词典里有“乒乓”、“乒乓球”、“球拍”、“拍卖”、“完了”等词。

机器从第一个字“乒”开始，发现最长能匹配上的是“乒乓球”。好，切出第一个词。

接着处理剩下的“拍卖完了”。从“拍”开始，最长能匹配上的是“拍卖”。切出第二个词。

最后剩下“完了”，匹配词典，切出“完了”。

最终结果：“乒乓球” / “拍卖” / “完了”。

这种方法虽然简单，但有两个硬伤：

“贪心”的歧义

它很容易因为“贪图”最长的匹配而犯错。人类一看就知道应该是“乒乓球拍”/“卖完了”，但因为词典里没有“乒乓球拍”，算法就做出了错误的选择。

致命的“未登录词”

如果出现一个新词，比如“DeepSeek”，词典里根本没有。机器就会彻底懵掉，无法识别这个关键信息。

子词切分

为了解决上述问题，现代大模型普遍采用一种更聪明、更灵活的策略——基于子词（Subword）的分词。

它的核心思想是：不要把词语看成是不可分割的整体，而是看作由更小的、有意义的“子词”积木拼成的。

这种方法的好处是显而易见的：

轻松应对未知词

遇到不认识的“smartphone”，可以拆成认识的“smart”和“phone”来理解。

高效学习语义

像“learn”、“learning”、“learner”这些词，都可以共享“learn”这个积木块，模型能更快地理解它们之间的关联。

控制词典规模

我们不需要一本无限大的词典，只需要一套有限但高效的“积木块”，就能拼出几乎所有的词汇。

目前最主流的“拼积木”算法之一叫做BPE（字节对编码）。它的构建过程就像一个有趣的合并游戏：

初始阶段：把所有单词拆成最基本的字母。

迭代合并：在整个语料库里，找出出现频率最高的相邻组合，比如 u 和 g 总是同时出现，就把它们合并成一个新的积木块 ug。

不断重复：持续这个过程，不断合并，产生像 un、hug、 (代表单词结束) 这样的新积木块，直到积木库（词典）达到预设的大小。

通过这种方式，BPE算法为模型打造了一套极其强大且灵活的“词汇积木”，让模型既能认识常见词，又能理解生僻词和新词。

3

总结

今天，我们一起探寻了AI理解人类语言的第一步——分词。

我们了解到，分词就是将文本切分为Token的过程，它是后续所有处理的基础。我们还对比了两种主流技术：传统的“查字典”法和现代大模型普遍采用的“拼积木”法（子词分词）。

正是后者这种灵活的策略，才让今天的AI能够从容应对日新月异、千变万化的网络新词和专业术语。

当然，将文本切分成Token只是第一步。接下来，模型还需要将这些Token转化为包含丰富语义信息的数字向量（Embedding），这才是真正让机器“理解”语言内涵的关键。

这个神奇的过程，我们将在下一期内容中为大家揭晓。

想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年 AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！

👇👇扫码免费领取全部内容👇👇

​

一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势

想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：

1. 100+本大模型方向电子书

2. 26 份行业研究报告：覆盖多领域实践与趋势

报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：

• 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
• 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
• 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
• 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。

3. 600+套技术大会 PPT：听行业大咖讲实战

PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：

• 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
• 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
• 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
• 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。

二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走

想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！

1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位

面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：

2. 102 道 AI 大模型真题：直击大模型核心考点

针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：

3. 97 道 LLMs 真题：聚焦大型语言模型高频问题

专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：

三、路线必明： AI 大模型学习路线图，1 张图理清核心内容

刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！

路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。

L1阶段:启航篇丨极速破界AI新时代

L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

L5阶段：专题集丨特训篇 【录播课】

四、资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇

​

2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！