本文深入浅出地解析了大模型的核心架构——Transformer，详细介绍了从文本到Token的Tokenization过程，以及Token如何通过Embedding变成向量并加入位置信息。文章还阐述了编码器与解码器在深度理解语义和生成文本中的作用，并解释了最新大语言模型为何多采用Decoder Only架构。最后，文章通过一个实例回顾了大模型从参数初始化到自回归生成的完整训练和使用过程，帮助读者全面理解大模型的工作原理。

---

一、Transformer 整个框架结构

前面我们了解到，大模型通过层层堆叠的神经元进行复杂计算。而人类科学家为这些海量神经元搭建了一个高效的“行动指南”–这就是 Transformer 架构。

它就像一个总导演，明确规定了信息在不同层级间该如何传递和处理：底层负责捕捉简单的语法特征，中层逐步组合成有意义的短语，高层则提炼出深层的语义逻辑。正是这个框架，让大模型能有条不紊地“掘进”并理解复杂的人类语言。

举个例子：假设下列提示词一共650个字，大语言模型的任务则是基于已有的650个字，输出第651个字。

二、Tokenization（文本变成Token）

分别找英文版和中文版的哈利波特第一部《哈利波特与魔法石》作为评估参考。

GPT处理英文版得到44.6万个token，中文版得到83.6万个token，中文版比英文版多87%的token数量。chatGLM处理英文版得到47.4万个token，中文版得到40.5万个token，两边相差不大。

所以，每家公司处理token是不一样的。

其实，大家在拆token都有个目标：越少越好，这样能显著降低计算量。比如麒麟这个词，很少拆开使用，有的公司会把这个词当做1个token。

2020年的GPT-3，Token词表：50257个Token

2023年的GPT-4，Token词表：100256个Token

2024年的Llama 3，Token词表：128000个Token

Token化非常有利于减少词表的数量（Token的总数少于文字的总数）

这一步主要没有任何神经网络和机器学习的应用，纯粹是拆解文字，减少计算量。

三、Embedding（Token变成向量）

神经网络可以将一张图片提取到特征，而这些特征最终存储在向量中。

中文有接近10万个汉字

1000个汉字可以覆盖92%的书面文字

2000个汉字可以覆盖98%的书面文字

3000个汉字可以覆盖99%的书面文字

one-hot编码方式如下：

但这种方式编码存在一些问题：

1、维度过高，过于稀疏：容纳3000个汉字就需要3000*3000的映射表，容纳5000个汉字则需要5000*5000的映射表

2、没有体现出“距离”概念：如果两个字之间的意思相近，那两个对应的向量求“距离”的时候，就应该更相近

3、没有数学或逻辑关系：向量之间是可以做加减法的，最好能满足：国王 - 男人 + 女人 = 女王

Embedding就是把离散的符号（文字），变成了连续的数字坐标，让大模型能够计算它们之间的相似度和逻辑关系。

比如国王这个词，百科解释中大量用到王、天子、皇帝…所以他们这些词的关联性应该更好。

前面的两个步骤，GPT会把这段对话中的650个字，转换成大概1300个Token，然后再把1300个Token变成1300个Embedding向量，每个向量12288维。

四、Positional Encoding（在向量中加入位置信息）

大模型读一段文字，不是和人一样从左到右，从上到下阅读的，而是一次性看到所有文字（并行的），大模型需要知道每个文字所在什么位置。

所以，每个Token向量上可以加上位置向量：

五、Encoder & Decoder（编码器 & 解码器：深度理解语义）

Encoder：把一句或一段话变成一个数学向量，还能比较相似度

Decoder：把数学空间里看不懂的东西，生成人能看懂的东西

多模态相似性比较：

文字生成图片：

回到我们的案例：这段包含 650 个字的对话，首先会被切分为约 1300 个 Token。随后，模型通过 Embedding 层，将这 1300 个 Token 转化为 1300 个高维向量（例如每个向量 12288 维）。这些向量不仅携带了词语本身的语义，还编码了它们在句子中的位置信息。

接下来是关键的计算环节，模型会以每一个词向量为中心，让这个“中心词”去与序列中其余的 1299 个词进行全方位的比对，计算它们之间的关联度（相似度）。如果发现某些词与中心词高度相关，模型就会通过一种叫 “注意力机制” 的操作，从那些相关的词向量中“吸收”或“融合”一部分信息。这样一来，中心词的含义就被上下文极大地丰富和增强了，从而让它真正“理解”在这个特定语境下这个词到底是什么意思。

经过第一轮的信息融合，我们获得了一组全新的1300个向量。此时每个向量都已“博采众长”，蕴含了更丰富的上下文语义。紧接着，模型会以此为基础开启第二轮比对。这时的“中心词”已经不再孤立，它代表的是初步形成的短语或概念。因此，这次比对实质上是短语与短语之间、概念与概念之间的深度语义交互，让模型能捕捉到文本中更高层级的逻辑关系。

解码器的输入与输出在数量上始终保持一致，但内容会随着生成过程不断演进。

生成伊始，由于尚无任何文本，系统会输入一个特殊的起始向量（如 ）。解码器结合这个起始向量以及编码器提供的上下文信息，生成第一个真正的语义向量。

随后，模型将 “特殊起始向量 + 已生成的第一个向量” 作为新的输入序列，再次送入解码器。解码器基于这一更新后的序列和编码器内容，预测并输出包含两个向量的新序列（即前两个词的表示）。

这一过程循环往复，每一轮都基于已生成的全部内容进行预测，逐步构建出完整的输出序列，直到解码器最终输出代表结束的特殊向量（如 ），标志着生成任务的完成。

所以，我们发现：

Encoder一般用来做分析

Decoder一般用来做生成

最新的大语言模型，几乎都采用了 Decoder Only 的架构：

1、解码器不仅能生成文本，同样具备强大的理解能力–它能通过已生成的上下文来“理解”当前语境。相比之下，编码器仅负责单向的理解任务。既然解码器既能理解又能生成，保留解码器并省去专门的编码器，便成为了兼顾性能与效率的最优解，得到如下图结构：

2、在纯解码器架构中，由于不存在独立的编码器，也就没有了那组固定的“1300个输入向量”作为参照。因此，解码器不再需要传统意义上的 “编码器-解码器融合层” 。它无需去比对两组不同的信息源，而是完全专注于自回归生成–即仅依靠已生成的文本片段，通过内部的注意力机制，一步步预测并输出下一个词。

3、此时，我们将最初的1300个向量作为提示词输入解码器，并自动附加一个代表“续写”任务的特殊向量。解码器便会以此为基础，像一位不知疲倦的作家一样持续生成后续内容。正是这种基于海量数据训练出的“下一个词预测”能力，让它在宏观上呈现出理解并回答问题的智能行为。

注意：编码器的理解是“全知视角”，而解码器的理解是“历史视角”。编码器在处理一个词时，能够双向捕捉全文的上下文信息；而解码器在生成过程中，只能单向聚合该词之前的历史信息，以此确保预测未来的合理性。解码器更适合做文字生成式的任务。

因此，在这1300个向量中，最后一个向量通过层层迭代，实际上已经聚合了前1299个向量的完整上下文信息。随着网络深度的增加（即多轮计算），这种聚合能力不断强化，最终使得该向量能够高度浓缩并代表整段话的语义核心。

这也解释了我们为何需要高达 12288 维 的向量空间：聚合的信息越丰富，所需的表达容量就越大。

试想一下，虽然当前示例仅有650字，但在处理长文本任务时，模型可能需要将一百万字的庞杂信息压缩进一个向量中。为了确保这一百万字的精髓不丢失、能被精准“编码”进单一向量，我们就必须依赖极高维度的空间来承载这份巨大的信息量。

六、Linear & Softmax（生成“下一个字”的权重分布 & 将权重分布转换成概率分布 ）

串起来回顾一下，假设我们正在从零开始训练大语言模型，此时内部所有的参数都还是毫无意义的随机数：

当“人类简”这三个字作为第一条训练数据输入时，首先经过 Token 化处理生成了 3 个 Token；

接着进入向量化阶段，这背后其实是一个巨大的查找表神经网络，以 GPT-3 为例，其词表包含 50257 个 Token，每个 Token 都需要被映射为一个 12288 维的向量（即拥有 12288 个坐标值），这些坐标值就是模型参数，初始化时全是随机数，非常不靠谱，仅这一层就包含了约 6 亿个待优化的参数；

随后为了弥补自注意力机制缺乏顺序感知的缺陷，我们需要加入位置编码，虽然早期的位置编码基于固定的数学公式，但现代模型将其变为可学习的参数，GPT-3 支持 2048 长度的上下文，因此有 2048 个对应的位置向量，我们将第一个 Token 向量加上“位置1”的向量，第二个加上“位置2”的向量，以此赋予模型对顺序的理解；

紧接着这 3 个携带位置信息的向量进入由 96 层组成的解码器进行深度的信息聚合（虽然只有 3 个向量且 96 轮计算显得有些“杀鸡焉用牛刀”），经过层层复杂运算，输入是 3 个向量，输出依然是 3 个向量，但其中最后一个向量已经通过历史视角聚合了最丰富的上下文语义信息；

然后我们取出这个代表全文精髓的向量，通过一个线性层（Linear）进行投影，这里会复用第一步的词嵌入映射表（权重共享），将该向量与词表中全部 50257 个 Token 向量逐一计算相似度（点乘法），得出每个词作为下一个词的相关度得分，数值越大代表越相关；

接下来经过 Softmax 函数处理，这是一个确定性的数学公式而非神经网络，它将这些得分转化为总和为 100% 的概率分布；

此时对比答案–在训练数据中“人类简”后面是“史”字，我们取出模型预测“史”字的概率，计算出当前的误差（损失值），于是这条训练数据中的每个字都会产生一个误差，汇总所有训练数据的误差得到总误差，接着通过反向传播算法，让模型中全部 1750 亿个参数集体进行“自我反思”和微调，试图降低下一次预测的总误差；

就这样一条条数据、一轮轮迭代地完成整个预训练过程（通常跑 2~3 个循环），待模型参数变得相对靠谱后，再进入 SFT（监督微调）阶段，利用高质量的问答对数据继续训练，依然是基于标准答案计算概率和误差，进一步引导模型学会对话和遵循指令；

最终当模型参数彻底收敛变得非常精准后，在实际使用时，用户输入问题作为提示词，模型就能像做填空题一样，基于前面的文字高概率地续写出下一个字，然后把这个新字作为输入的一部分继续预测下一个字，如此循环往复，这个逐字生成、步步为营的过程就是自回归。

​最后

我在一线科技企业深耕十二载，见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​