大模型关键术语全解：读懂这篇就够了

从A到Z，一文搞懂大模型所有核心概念

---

🌟 引言

大模型的世界充满了各种专业术语：Token、Embedding、Temperature、LoRA、RLHF…这些词听起来像外星语言，但它们是理解AI的钥匙。

这篇文章将用最通俗的语言，解释大模型领域最重要的100+个关键术语。读完这篇，你就能自信地和大模型"对话"了！

---

📚 第一部分：基础概念篇

1.1 大模型相关

术语	英文全称	解释
大语言模型	Large Language Model (LLM)	参数规模巨大的预训练语言模型，通常指参数量在10亿以上的模型。如GPT-4、Claude、文心一言等。
生成式AI	Generative AI	能够创造新内容的AI，如生成文本、图像、代码等，而不是仅仅分类或识别。
预训练	Pre-training	在海量数据上训练模型的初始阶段，让模型学习语言的基本规律和世界知识。
微调	Fine-tuning	在预训练模型基础上，用特定领域数据进一步训练，让模型适应特定任务。
基础模型	Foundation Model	在大规模数据上预训练的通用模型，可以作为多种任务的基础。

1.2 模型架构相关

术语	英文全称	解释
Transformer	Transformer	现代大模型的核心架构，基于自注意力机制，能够并行处理文本。
自注意力机制	Self-Attention	让模型在处理每个词时，能够关注到句子中其他相关词的机制。
多头注意力	Multi-Head Attention	从多个角度（多个"头"）同时关注文本的不同特征。
编码器	Encoder	Transformer的一部分，负责理解和编码输入信息。
解码器	Decoder	Transformer的一部分，负责生成输出内容。
仅解码器模型	Decoder-only	只使用Transformer解码器部分的模型，如GPT系列，擅长生成任务。
仅编码器模型	Encoder-only	只使用Transformer编码器部分的模型，如BERT，擅长理解任务。
编码器-解码器模型	Encoder-Decoder	同时使用编码器和解码器的模型，如T5，适合翻译等任务。

1.3 数据相关

术语	英文全称	解释
Token	Token	文本的最小处理单元。可以是一个词、一个词的一部分、甚至一个字符。
分词	Tokenization	将文本切分成Token的过程。
分词器	Tokenizer	执行分词的工具，不同模型使用不同的分词器。
词表	Vocabulary	模型知道的所有Token的集合。
上下文窗口	Context Window	模型一次能处理的最大Token数量。如GPT-4的上下文窗口是128K。
训练数据	Training Data	用于训练模型的数据集。
验证数据	Validation Data	用于在训练过程中评估模型性能的数据。
测试数据	Test Data	用于最终评估模型性能的数据。

---

🧠 第二部分：模型内部机制篇

2.1 表示学习

术语	英文全称	解释
嵌入/词向量	Embedding	将词、句子或其他内容转换为数字向量的表示，相似的内容有相似的向量。
词嵌入	Word Embedding	将词转换为固定长度的向量表示。
位置编码	Positional Encoding	给Token添加位置信息，让模型知道词的顺序。
隐藏状态	Hidden State	模型内部层的输出表示。
表示	Representation	内容在模型内部的数学表示。

2.2 训练过程

术语	英文全称	解释
前向传播	Forward Pass	输入数据通过模型得到输出的过程。
反向传播	Backpropagation	根据误差调整模型参数的过程。
损失函数	Loss Function	衡量模型预测与真实答案差距的函数。
梯度	Gradient	损失函数对参数的导数，指示如何调整参数。
梯度下降	Gradient Descent	沿着梯度的反方向调整参数，减小损失。
学习率	Learning Rate	参数调整的步长，太大可能不稳定，太小收敛慢。
轮次	Epoch	完整遍历训练数据一次。
批次大小	Batch Size	一次训练使用的样本数量。
优化器	Optimizer	调整模型参数的算法，如Adam、SGD等。
权重衰减	Weight Decay	防止模型过拟合的正则化技术。
Dropout	Dropout	随机丢弃部分神经元，防止过拟合。

2.3 模型参数

术语	英文全称	解释
参数	Parameters	模型中可学习的数值，包括权重和偏置。
权重	Weights	模型中连接神经元的数值。
偏置	Bias	模型中每个神经元的偏移量。
参数量	Parameter Count	模型中参数的总数，如"7B模型"表示70亿参数。
激活函数	Activation Function	引入非线性的函数，如ReLU、GELU等。
层归一化	Layer Normalization	标准化每层的输出，稳定训练过程。
残差连接	Residual Connection	将层的输入直接加到输出上，帮助梯度流动。

---

🎯 第三部分：提示工程篇

3.1 提示基础

术语	英文全称	解释
提示词	Prompt	给大模型的输入文本，引导模型生成期望的输出。
提示工程	Prompt Engineering	设计和优化提示词的技术。
系统提示词	System Prompt	设定模型角色和行为的全局提示。
用户提示词	User Prompt	用户的具体问题或指令。
少样本学习	Few-shot Learning	在提示中提供几个示例，让模型学习模式。
零样本学习	Zero-shot Learning	不提供示例，直接让模型完成任务。
单样本学习	One-shot Learning	只提供一个示例的学习方式。

3.2 高级提示技术

术语	英文全称	解释
思维链	Chain of Thought (CoT)	引导模型逐步推理，展示思考过程。
思维树	Tree of Thoughts (ToT)	探索多个推理路径，选择最优解。
自一致性	Self-Consistency	多次生成答案，选择最一致的结果。
提示链	Prompt Chaining	将多个提示串联使用，前一个的输出作为后一个的输入。
提示模板	Prompt Template	可复用的提示结构，包含变量占位符。
角色提示	Role Prompting	为模型设定专业角色，如"你是一位律师"。
指令提示	Instruction Prompting	明确告诉模型要做什么。

3.3 生成控制

术语	英文全称	解释
温度	Temperature	控制生成随机性的参数。值越高越随机，值越低越确定。
Top-P采样	Nucleus Sampling	从累计概率达到P的最可能Token中采样。
Top-K采样	Top-K Sampling	从概率最高的K个Token中采样。
束搜索	Beam Search	保留多个候选序列，选择最优的。
重复惩罚	Repetition Penalty	减少重复生成相同内容的倾向。
频率惩罚	Frequency Penalty	根据Token出现频率进行惩罚。
存在惩罚	Presence Penalty	只要Token出现过就进行惩罚。
停止序列	Stop Sequence	遇到特定序列时停止生成。
最大Token数	Max Tokens	限制生成的最大Token数量。

---

🤖 第四部分：AI Agent篇

4.1 Agent基础

术语	英文全称	解释
AI智能体	AI Agent	具备自主决策和执行能力的AI系统，可以调用工具、规划任务。
ReAct模式	ReAct	Reasoning（推理）+ Acting（行动）的循环模式。
工具调用	Tool Calling / Function Calling	模型调用外部函数或API的能力。
记忆	Memory	Agent存储和检索信息的能力。
短期记忆	Short-term Memory	当前对话中的信息。
长期记忆	Long-term Memory	跨会话持久存储的信息。
向量存储	Vector Store	用向量数据库存储和检索记忆。

4.2 Agent能力

术语	英文全称	解释
规划	Planning	Agent分解任务、制定执行计划的能力。
反思	Reflection	Agent检查和改进自己输出的能力。
自我修正	Self-Correction	Agent发现错误并自动修正的能力。
多Agent协作	Multi-Agent Collaboration	多个Agent协同完成复杂任务。
Agent框架	Agent Framework	开发Agent的工具库，如LangChain、CrewAI等。

---

🔍 第五部分：RAG篇

5.1 RAG基础

术语	英文全称	解释
检索增强生成	Retrieval-Augmented Generation (RAG)	先检索相关文档，再基于检索内容生成答案的技术。
检索	Retrieval	从知识库中查找相关内容的过程。
增强	Augmentation	将检索内容注入提示的过程。
生成	Generation	基于增强内容生成答案的过程。

5.2 RAG组件

术语	英文全称	解释
文档加载器	Document Loader	加载不同格式文档的工具。
文本分割器	Text Splitter	将长文档切分成小块的工具。
向量数据库	Vector Database	专门存储和检索向量数据的数据库。
嵌入模型	Embedding Model	将文本转换为向量的模型。
检索器	Retriever	执行检索操作的组件。
重排序器	Reranker	对检索结果重新排序的模型。

5.3 RAG技术

术语	英文全称	解释
相似度检索	Similarity Search	基于向量相似度检索文档。
混合检索	Hybrid Search	结合向量检索和关键词检索。
最大边界相关性	MMR	平衡相关性和多样性的检索策略。
查询扩展	Query Expansion	改写和扩展查询，提高检索效果。
元数据过滤	Metadata Filtering	基于元数据筛选检索结果。
上下文压缩	Context Compression	压缩检索内容，保留关键信息。

---

🔧 第六部分：模型微调篇

6.1 微调类型

术语	英文全称	解释
全量微调	Full Fine-tuning	更新模型所有参数的微调方式。
高效微调	PEFT	只更新少量参数的微调方式。
LoRA	Low-Rank Adaptation	低秩适应微调，只训练少量低秩矩阵。
QLoRA	Quantized LoRA	量化+LoRA，进一步降低显存需求。
Prefix Tuning	Prefix Tuning	只优化提示前缀向量的微调方法。
Prompt Tuning	Prompt Tuning	优化软提示的微调方法。
适配器	Adapter	在模型层之间插入小型可训练模块。

6.2 微调数据

术语	英文全称	解释
指令数据	Instruction Data	包含指令和期望输出的数据。
对话数据	Conversation Data	多轮对话格式的数据。
偏好数据	Preference Data	包含人类偏好的成对数据。
合成数据	Synthetic Data	用AI生成的训练数据。
数据增强	Data Augmentation	通过变换增加数据多样性的技术。

6.3 微调技术

术语	英文全称	解释
有监督微调	SFT	使用标注数据进行的微调。
指令微调	Instruction Tuning	让模型学会遵循指令的微调。
对齐微调	Alignment Tuning	让模型输出符合人类价值观的微调。
持续预训练	Continual Pre-training	在领域数据上继续预训练。
多任务微调	Multi-task Fine-tuning	同时在多个任务上微调。

---

🛡️ 第七部分：模型对齐篇

7.1 对齐方法

术语	英文全称	解释
人类反馈强化学习	RLHF	用人类反馈训练奖励模型，再用强化学习优化大模型。
奖励模型	Reward Model	预测人类对输出偏好的模型。
PPO	PPO	常用的强化学习算法。
直接偏好优化	DPO	直接用偏好数据优化模型，不需要奖励模型。
KTO	KTO	基于前景理论的优化方法。
ORPO	ORPO	基于胜率的偏好优化方法。

7.2 对齐技术

术语	英文全称	解释
Constitutional AI	Constitutional AI	基于规则和原则的对齐方法。
红队测试	Red Teaming	故意攻击模型，发现安全问题。
安全对齐	Safety Alignment	让模型避免生成有害内容。
有用性对齐	Helpfulness Alignment	让模型生成更有用的回答。
诚实性对齐	Honesty Alignment	让模型避免编造信息。

---

🚀 第八部分：模型部署篇

8.1 部署方式

术语	英文全称	解释
云端部署	Cloud Deployment	在云服务器上部署模型。
本地部署	Local Deployment	在本地机器上运行模型。
边缘部署	Edge Deployment	在边缘设备上部署模型。
API服务	API Service	提供HTTP接口的模型服务。
流式输出	Streaming	逐Token生成并返回，提升用户体验。

8.2 推理优化

术语	英文全称	解释
推理	Inference	用模型生成输出的过程。
推理引擎	Inference Engine	优化推理速度的工具。
批处理	Batching	同时处理多个请求。
连续批处理	Continuous Batching	动态调整批处理，提高效率。
键值缓存	KV Cache	缓存注意力计算的中间结果，加速生成。
量化	Quantization	降低模型参数精度，减少显存占用。
INT8量化	INT8 Quantization	将参数从32位浮点数量化为8位整数。
INT4量化	INT4 Quantization	将参数量化为4位整数。
FP16/BF16	FP16/BF16	半精度浮点数，减少显存占用。
GPTQ	GPTQ	一种高效的量化方法。
AWQ	AWQ	考虑激活值的量化方法。
GGUF	GGUF	llama.cpp使用的量化格式。

8.3 部署工具

术语	英文全称	解释
vLLM	vLLM	高性能推理引擎，支持PagedAttention。
TGI	TGI	Hugging Face的推理服务。
TensorRT-LLM	TensorRT-LLM	NVIDIA优化的推理框架。
llama.cpp	llama.cpp	纯C++实现的推理引擎，支持CPU。
Ollama	Ollama	本地模型运行工具。
LM Studio	LM Studio	本地模型管理工具。

---

📊 第九部分：评估篇

9.1 评估指标

术语	英文全称	解释
困惑度	Perplexity (PPL)	衡量模型预测不确定性的指标，越低越好。
准确率	Accuracy	预测正确的比例。
BLEU	BLEU	机器翻译评估指标。
ROUGE	ROUGE	文本摘要评估指标。
F1分数	F1 Score	精确率和召回率的调和平均。
精确率	Precision	预测为正的样本中真正为正的比例。
召回率	Recall	真正为正的样本中被预测为正的比例。

9.2 评估基准

术语	英文全称	解释
MMLU	MMLU	综合知识评估基准。
GSM8K	GSM8K	数学推理评估基准。
HumanEval	HumanEval	代码生成评估基准。
BBH	BBH	复杂任务评估基准。
TruthfulQA	TruthfulQA	事实准确性评估基准。
MT-Bench	MT-Bench	多轮对话评估基准。
AlpacaEval	AlpacaEval	指令遵循评估基准。

9.3 RAG评估

术语	英文全称	解释
RAGAS	RAGAS	RAG系统评估框架。
TruLens	TruLens	RAG评估工具。
DeepEval	DeepEval	大模型评估框架。
忠实度	Faithfulness	回答是否基于检索内容。
相关性	Relevance	回答是否与问题相关。
上下文召回率	Context Recall	检索内容是否包含答案。

---

🔨 第十部分：开发工具篇

10.1 核心库

术语	英文全称	解释
Transformers	Transformers	Hugging Face的模型库。
PyTorch	PyTorch	深度学习框架。
TensorFlow	TensorFlow	Google的深度学习框架。
LangChain	LangChain	大模型应用开发框架。
LlamaIndex	LlamaIndex	数据索引和检索框架。
OpenAI API	OpenAI API	OpenAI的接口服务。
Anthropic API	Anthropic API	Claude的接口服务。

10.2 向量数据库

术语	英文全称	解释
Chroma	Chroma	轻量级本地向量数据库。
FAISS	FAISS	Facebook的相似度搜索库。
Pinecone	Pinecone	托管向量数据库服务。
Milvus	Milvus	开源向量数据库。
Qdrant	Qdrant	高性能向量搜索引擎。
Weaviate	Weaviate	开源向量数据库。

10.3 平台与社区

术语	英文全称	解释
Hugging Face	Hugging Face	AI模型和数据集平台。
魔搭社区	ModelScope	中国的AI模型平台。
GitHub	GitHub	代码托管平台。
Kaggle	Kaggle	数据科学竞赛平台。
Papers with Code	Papers with Code	论文和代码对应平台。
arXiv	arXiv	预印本论文平台。

---

🌐 第十一部分：前沿技术篇

11.1 新兴架构

术语	英文全称	解释
混合专家	Mixture of Experts (MoE)	只激活部分专家网络，提高效率。
稀疏注意力	Sparse Attention	只计算部分位置的注意力，降低复杂度。
Flash Attention	Flash Attention	优化的注意力计算实现。
Ring Attention	Ring Attention	环状注意力，支持超长上下文。
LongLoRA	LongLoRA	支持长上下文的LoRA变体。

11.2 多模态

术语	英文全称	解释
多模态模型	Multimodal Model	能处理多种数据类型（文本、图像、音频）的模型。
视觉Transformer	Vision Transformer (ViT)	用于图像的Transformer架构。
CLIP	CLIP	连接文本和图像的模型。
DALL-E	DALL-E	文本生成图像的模型。
Stable Diffusion	Stable Diffusion	图像生成模型。

11.3 其他前沿

术语	英文全称	解释
世界模型	World Model	理解世界规律的模型。
具身智能	Embodied AI	能与物理世界交互的AI。
神经符号AI	Neuro-symbolic AI	结合神经网络和符号推理的AI。
小模型	Small Language Model (SLM)	参数量较小但性能优秀的模型。

---

💡 第十二部分：常见问题篇

12.1 模型能力

术语	英文全称	解释
幻觉	Hallucination	模型编造不存在事实的现象。
知识截止	Knowledge Cutoff	模型训练数据的截止时间。
上下文学习	In-Context Learning (ICL)	通过上下文示例学习的能力。
涌现能力	Emergent Abilities	模型规模达到一定程度后突然出现的能力。
思维链推理	Chain-of-Thought Reasoning	逐步推理的能力。
零样本推理	Zero-shot Reasoning	不提供示例直接推理的能力。

12.2 训练相关

术语	英文全称	解释
过拟合	Overfitting	模型在训练数据上表现好，在新数据上表现差。
欠拟合	Underfitting	模型连训练数据都学不好。
灾难性遗忘	Catastrophic Forgetting	学习新任务后忘记旧任务。
梯度爆炸	Gradient Explosion	梯度变得过大，训练不稳定。
梯度消失	Gradient Vanishing	梯度变得过小，无法有效训练。
收敛	Convergence	模型训练达到稳定状态。

12.3 资源相关

术语	英文全称	解释
显存	VRAM	显卡内存，存储模型和中间结果。
浮点运算次数	FLOPs	衡量计算量的指标。
吞吐量	Throughput	单位时间处理的请求数量。
延迟	Latency	从请求到返回的时间。
张量处理单元	TPU	Google的AI加速芯片。
神经网络处理单元	NPU	神经网络处理单元。

---

📖 术语速查表

类别	核心术语
基础	LLM、Token、Embedding、Transformer
提示	Prompt、CoT、Temperature、Few-shot
Agent	Agent、Tool Calling、Memory、ReAct
RAG	RAG、Vector DB、Retriever、Embedding
微调	LoRA、QLoRA、SFT、PEFT
对齐	RLHF、DPO、Reward Model
部署	vLLM、Quantization、Inference
评估	MMLU、GSM8K、Perplexity

---

🎯 学习建议

初学者必知术语（Top 20）

序号	术语	英文	所属领域
1	大语言模型	LLM	基础
2	词元	Token	基础
3	提示词	Prompt	提示
4	嵌入	Embedding	基础
5	Transformer架构	Transformer	架构
6	上下文窗口	Context Window	基础
7	温度	Temperature	提示
8	少样本学习	Few-shot Learning	提示
9	检索增强生成	RAG	RAG
10	智能体	Agent	Agent
11	微调	Fine-tuning	微调
12	低秩适应	LoRA	微调
13	人类反馈强化学习	RLHF	对齐
14	幻觉	Hallucination	问题
15	推理	Inference	部署
16	量化	Quantization	部署
17	向量数据库	Vector Database	RAG
18	思维链	Chain of Thought	提示
19	预训练	Pre-training	基础
20	评估基准	MMLU	评估

进阶学习者关注

术语	英文	说明
混合专家	MoE	提高效率的架构
Flash Attention	Flash Attention	加速注意力计算
直接偏好优化	DPO	简化对齐流程
分页注意力	PagedAttention	vLLM的核心技术
长上下文	Long Context	处理更长文本

---

🌟 结语

大模型的术语虽然多，但都有其内在逻辑：

• 数据层面：Token、Embedding、Context
• 模型层面：Transformer、Attention、Parameters
• 训练层面：Pre-training、Fine-tuning、RLHF
• 应用层面：Prompt、RAG、Agent
• 部署层面：Inference、Quantization、vLLM
• 评估层面：MMLU、Perplexity、RAGAS

理解了这些术语，你就掌握了与大模型对话的"语言"。继续探索，AI的世界无限精彩！

---

希望这篇术语大全能成为你学习大模型的得力助手！有问题随时查阅哦~ 📚✨