1.模型

万物皆函数, 早期人们用符号主义的思想找到精确函数, 试图解释一切原理, 但遇到了瓶颈, 后来人们转用连接主义思想, 先啥都不管, 弄一个非常复杂的函数, 然后根据计算出的预测值与真实值的误差, 不断调整里面的未知参数, 这个函数叫做模型。

2.大语言模型

模型里的参数叫做权重, 如果模型中的参数量特别大, 就叫做大模型, 用于自然语言处理的大模型就叫做大语言模型。

3.预训练

调整参数的过程就是模型的训练, 事先训练好一个基础模型的方式叫做预训练。

4.微调

基于预训练的模型继续训练, 让模型学会具体的任务的方式叫做微调参数,。

5.推理

调整好后, 根据函数的输入计算输出结果, 这个过程叫做推理。

6.涌现

这些概念在大模型时代到来之后, 逐渐火热了起来, 当模型参数量足够大的时候, 对话能力有了质的提升, 产生了一定程度的推理能力, 这种量变引起质变, 而突然出现的之前没有的能力的现象叫做涌现。

7.权重

一个模型需要有训练它的代码, 有了代码就可以训练出一组权重, 有了权重就可以进行推理, 也就是可以对外提供服务了。

8.闭源模型&开源模型&开放权重模型&完全开源模型

不开放源代码, 也不开放权重, 只对外提供服务的模型叫做闭源模型, 如ChatGPT claude等开放模型, 权重可以直接下载到自己电脑上, 部署的模型叫做开源模型, 但实际上大部分现在说的开源模型, 只是开放了权重, 而不开放训练代码和训练数据, 所以准确说其实叫开放权重模型, 比如最近爆火的DeepSeek以及划时代的lama等, 不但开放了模型结构和权重, 还开放了训练代码的模型, 可以叫完全开源模型, 比如说Mistral。

9.私有化部署

有了模型权重, 其实就可以下载到本地进行部署, 并且使用了, 很少有人需要重新训练它, 这个不依赖于他人的服务, 而是把模型下载到本地进行使用的过程, 叫做私有化部署, 私有化部署依赖很多复杂的环境配置, 就是需要装很多依赖的软件和工具包, 而且需要性能较为强劲的GPU的支持, 对于仅仅想尝鲜的个人, 专门为此去买一台电脑不太合适。

10.生成式AI

回到ChatGPT, 大语言模型的本质就是个大函数, 根据前面的一句话, 持续不断地计算下一个词是什么, 这种基于输入内容, 自动生成新内容的人工智能系统叫做生成式AI。

11.token

除了文本, 包含图像, 声, 音视频等等, 这里的每一个分割成最小力度的词叫做token,

12.上下文

对话时所有给到大模型的信息叫做上下文, 不同的模型有不同的上下文, 长度限制越大, 就越能记住前面的信息。

13.提示词

上下文从另一个角度理解, 也可以叫提示词, prompt可以指导模型的回答流程和风格, 但其实就是个上下文而已, 早期出现很多提示词工程师和提示词教程, 其实本质就是教你怎么跟大模型说话而已, 现在AI的对话越来越贴近人的方式了, 所以你和人沟通起来有啥毛病, 那么跟AI沟通也有啥毛病, 你真正缺的是怎么表达清楚自己的意思, 而不是prompt技巧。

14.top k

大模型就是个大函数, 函数是死的, 所以根据前面的词输出的下一个词是固定的, 但是我们可以一定程度的调整模型, 输出的随机性, 让下一个词的生成, 并不总是取前面概率最高的那个词, 控制输出的随机性的参数叫做温度控制范围, 从概率最高的k个词中选择叫做top k。

15.幻觉

随机性太高, 模型容易胡说, 八道太低又会过于保守, 也可能说错, 这种在语言上说得通, 但是在事实上狗屁不通, 甚至虚假信息的现象, 叫做大模型的幻觉。

16.检索

为了解决幻觉问题, 大模型或者一些套壳产品提供了联网能力, 其实呢就是在大模型回答问题前, 先去互联网上查找一些相关信息, 把这些信息和你的问题拼接在一起, 共同先发给大模型, 然后进行回答, 相当于带着答案回答问题了, 之前很多自媒体的震惊体, 炸裂体, 天塌体的文章说, 大模型拥有联网能力是有了重大突破, 人类就要完蛋了, 那实际上呢就是这么个玩意儿, 有些数据网络上可能查不到, 或者企业的数据不方便公开地放在互联网上, 希望大模型去这些私有的数据库中查找答案, 这种方式叫做检索。

17.RAG&知识库

增强生成RAG和联网的思路一样, 也是先查资料再回答问题, 只不过查询的内容不在互联网上, 而是在有一个私有的数据库中, 我们通常叫它知识库。

18.词嵌入（Embedding）

为了让模型和知识库中的语义进行匹配, 知识通常会以向量的形式存储在向量数据库中, 把文字转换成词向量的方式叫做词嵌入对比。

19.向量检索

词向量之间的相似度, 已在知识库中找到相关问题的答案的方式, 叫做向量检索。

20.PGC

在内容创作领域, 传统的由专业机构如影视公司, 媒体机构, 权威专家等创作的内容叫做PGC。

21.UGC

随着移动互联网时代的到来, 和自媒体时代的到来, 由普通用户, 比如说我创作的内容叫做UGC。

22.AIGC

而在AI时代, 由AI创作或辅助创作的内容叫做AIGC, 比较正向的案例呢, 就是内容公司通过AI, 加快产出速度和提升内容质量, 而比较反面的案例呢, 就是很多人利用AI洗稿并疯狂产出内容, 污染互联网的内容生态。

23.AGI

这里有个比较容易混淆的词叫AGI, 它的意思是人们对于人工智能最终形态的畅想, 及通用人工智能大模型借鉴发展。

24.多模态

不单单能处理文本内容, 也能处理图片声, 音视频等多种形式的内容, 这种处理多种模式内容的能力叫做多模态。

25.工作流

有的时候呢我们需要多次使用大模型的能力, 比如第一步将口播稿分段, 第二步给每个段落写成一个文生图的提示词, 第三步生成一张合适的图片, 这种把多个步骤编排成一个流程的能力, 叫做工作流，包括可以在页面上进行傻瓜操作, 编排工作流的工具, 比如扣子以及用代码的方式编排工作流的框架, 如long chain。

26.智能体

按照工作流封装大模型和一整套工具集, 用于自动完成某一类复杂任务的程序, 叫做一个智能体, 多个智能体互相协作, 完成更复杂的任务的程序, 叫做多智能体, chat gbt的插件系统, 早期昙花一现的auto gbt, 以及最近又昙花一现的manus, 都属于智能体。

27.MCP协议

智能体需要操作各种应用, 比如打开浏览器上网, 打开计算器进行算术, 或者操作手机上的微信, 发送一条信息等, 实现托管, 为了更方便操作外部数据源和工具, Anthropic公司于2024年底, 为AI系统提供了一个标准化的接口, 或者说协议叫做MCP, 给了AI一个操作外部世界的统一标准。

28.AtoA协议

谷歌于2025年4月推出的另一个协议, 用于agent和agent之间的通信, 叫做A to A协议。

29.模型压缩

大模型的生态开始百花齐放, 未来的想象空间是无限的, 别看这么多工作流啊, 智能体啊, MCP等概念兴起, 但其实都是老一套工程方面的事情, 大模型本身的能力已经发展的快到极限了, 一方面呢模型大小到了极限, 一个顶级大语言, 模型的训练成本已经超过1亿美元了, 另一方面模型的能力也快到达了极限, 前十名模型能力的差距, 已经从两年前的12%, 缩小到了25年年初的5.4%, 前两名更是从4.9%, 缩小到了0.7%, 模型之间已经快拉不出差距了, 正所谓边际收益递减, 所以呢就开始卷其他方向寻找出路, 比如让模型更小, 以便减少成本和方便个人。

30.量化

量化是把模型中的浮点数用更低精度表示, 以减少显存和计算的量化。

31.蒸馏

用参数量较大的大模型, 指导参数量较小的小模型的蒸馏, 删除模型中不重要的神经元, 让模型更稀疏, 以提高速度的减枝, 用更低成本改善微调方式的方法, 如lora，qloar，adaptor等。