本文详细解析了大语言模型(LLM)的定义、对话原理及构建思路。通过分词、向量化、Transformer架构中的自注意力机制等步骤，大模型能够理解人类语言并生成回应。构建大模型需经历预训练(学习语言规律)、微调(解决具体任务)和增强优化(提高性能)三个阶段。大模型具备组合型创新能力，但目前可能缺乏真正的创造力。

---

前期回顾

上一篇文章，我们已经讲解了什么是NLP，NLP的发展历程，以及NLP与模型之间的关系。这里需要理解的是，模型是NLP的组成部分之一，但模型绝不仅仅只用于NLP技术。

那么，这篇文章我将向大家解释什么是大语言模型（Large Language Model），并从底层原理上为大家解释语言模型是如何与我们进行对话的。

关键词

大语言模型（LLM）

分词

Transformer架构

本篇目录

1.什么是大模型？

2.大模型到底是如何与我们对话的？

3.构建大模型的基本思路

4.总结

01

什么是大模型？

大模型又称大语言模型。大语言模型是指带有大量参数的语言模型，能够理解和生成自然语言（以下我们均简称为大模型）。

大模型的核心目标是学习语言规律（如词义、句法、常识）并应用于实际任务。

1>什么是语言模型？

语言模型的本质是估算一个字在一句话里出现的概率。

2>什么是参数？

参数是指模型在训练过程中学习的权重和偏差，决定了模型的表现能力。

02

大模型到底是如何与我们对话的？

你是否一直也很好奇，到底大模型是如何理解我们人类语言，并准确地输出对话内容的呢？

这就要从文字开始，而且得从英文开始，因为代码就是用英语写的。

例如，当我们输入一句话：He didn’t like the movie, but she said: "It’s fantastic!”

第一步，分词。

分词有很多方式，包括按单词分词，按子词分词，甚至按单个字符（包括标点符号或所有格’s）分词。现在的大语言模型都是按照子词进行分词的。

例如，irradiated（被辐射的）可以被拆分成这几个子词：ir, radi, ated.

当然，在不同的模型里，子词的拆分方式也不一样。

可能同样是这个词，也可能被拆分成 ir, rad, i, ated 这四部分。

所以，上面这句话可能会被拆分成这样：

[“He”, “did”, “n’t”, “like”, “the”, “movie”, “,”, “but”, “she”, “said”, “:”, “”“, “It”, “'s”, “fantastic”, “!”, “””]

第二步，向量化

每一个子词会被分配一个向量。

例如He的向量可能被分配为[2，4，10]。

向量内数字元素的数量代表向量空间的维度，这里[2,4,10]表示的是He在三维向量空间里的位置。

第三步，建立依赖

现代语言模型里最成功且应用最广泛的架构叫Transformer架构，它由编码器和解码器组成。

Transformer架构里有一个非常重要的概念叫自注意力。

自注意力技术的核心是计算一个子词与句子中所有其他子词之间的相似度。

相似度越高，说明关系越紧密。

通过计算相似度，大模型理解了你输入的语言。这个部分工作是通过编码器部分完成的。

第四步，预测回答

在经过第三步的编码过程之后，大模型获得了一组能够”翻译“输入内容的向量，接下来需要基于这些向量预测要回答的内容。

自注意力技术仍然通过计算向量相似度的方式，选择相似度最高的一个向量作为下一个输出向量。

因为大模型的“知识库”里已经存储了各种子词的向量，通过计算已识别的这句话的各个子词的向量与大模型“知识库”里的各个子词的向量之间的相似度，从而挑选出最大概率的子词向量作为下一个输出向量。

当这一个向量确认后则将这个向量加入已确认向量序列，然后计算下一个子词的可能向量。

一直循环，直到解码器预测结束。模型最终将向量映射成自然语言输出。

通过这部分的讲解，我们知道了大模型跟我们对话的原理，如果用产品语言描述的话，这是大模型与我们对话的工作流。

但是这套工作流不是凭空产生了，需要经过训练，大模型才能习得。

所以接下来我们需要了解一下构建大模型的流程。

03

构件大模型的基本思路

大模型的构建其实是一个训练数据的过程，最终拟合出模型函数。

大模型的完整训练过程为：预训练→微调→增强优化（可选）。

1>什么是预训练？

预训练的目标：让模型学会语言规律（如词义、句法、常识）；

预训练使用的数据：海量无标注文本（例如维基百科、书籍、网页）；

预训练的结果：模型获得通用语言理解能力，但无法直接解决具体任务。

预训练采用的机器学习类型：自监督学习

思考一下

机器学习分为哪些类型？

所以经过预训练的模型，它能够听懂你在说什么。

也能根据概率计算出应该怎么回复你说的话。

这个预训练的过程就是让大模型学会如何与人类对话的过程。

然而，我们发现现在的大模型远不止对话功能，它还能帮我们做很多其他事情，如：生成文章摘要、翻译、分类等。那么这些事情大模型是如何做到的呢？下面我们需要了解一下微调。

2>什么是微调？

正如上面预训练模块提到的，预训练模型的结果虽然使模型获得了通用语言理解能力，但无法直接解决具体任务。

因此模型还需要根据具体的任务类型进行微调之后才能解决具体问题。

大模型的任务类型包括：文本生成、文本分类、问答系统、摘要生成、机器翻译、代码生成、对话系统、信息抽取。

如何微调才能让大模型具备这些任务处理能力？

模型微调的方法包括：参数微调、指令调优、提示调优。

思考一下

1.大模型的任务有什么作用？

2.如何进行模型微调？

参数微调和指令微调相对于提示调优要稍显陌生一点，前两种微调方法我会在后面的文章里详细介绍。

提示调优其实就是我们常说的提示词工程。

我们可以通过编写提示词让大模型执行具体的任务。

例如，你给大模型发一篇文章，然后写一句提示词：“帮我生成这篇文章的摘要。”那么大模型根据这句提示词和文章内容就可以执行生成摘要的任务。

关于如何编写提示词，我后面也会专门用一篇文章来详细讲解。

这部分大家需要了解的是，要想让大模型具备解决具体任务的能力，则需要进行模型微调，模型微调的方法包括以上3种。

3>什么是增强优化？

在已有模型的基础上，通过额外的结构、数据、训练方法或外部工具，使其在准确性、可控性、效率等方面更好地工作。

常见的方法有：检索增强生成（RAG）、外部工具调用、推理与思维增强、强化学习（RL）等。

04

总结

通过这篇文章，大家是否已经了解了大模型是如何与我们进行对话的？

不得不说，人工智能确实跟人很像，它从单词的词根开始学习人类语言，我们学英语的时候不也是采用的这种方法。人工智能可以通过计算迅速判断出词与词之间的相关性，而人类却全靠记忆。

然而，人工智能都是基于已有的知识进行训练的，即便是推理出来的内容也是基于现有知识进行计算的，我认为它具备组合型创新的能力（从1到n），但这种方法至少目前我认为不可能衍生出创造型创新能力(从0到1)。

如何学习AI大模型？

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓