一、基础概念类

缩写/术语 英文全称 中文全称 含义简介
AI Artificial Intelligence 人工智能 通过计算机系统模拟人类智能行为的技术，包括学习、推理、感知、决策等能力
AGI Artificial General Intelligence 通用人工智能 具有与人类相当的通用智能水平，能够理解、学习和执行任何智力任务的AI系统
ML Machine Learning 机器学习 使计算机系统能够从数据中自动学习和改进的技术，无需明确编程
DL Deep Learning 深度学习 基于多层神经网络的机器学习方法，能够自动学习数据的层次化特征表示
NLP Natural Language Processing 自然语言处理 使计算机能够理解、解释、生成和处理人类自然语言的技术领域
NLU Natural Language Understanding 自然语言理解 NLP的子领域，专注于让计算机理解人类语言的语义和意图
NLG Natural Language Generation 自然语言生成 NLP的子领域，专注于让计算机生成流畅、连贯的自然语言文本
LLM Large Language Model 大语言模型 参数量达到数十亿至数万亿级别，在海量文本数据上训练的语言模型
MLM Masked Language Model 掩码语言模型 通过预测被掩盖的词来训练的语言模型，如BERT使用的训练方法
CLM Causal Language Model 因果语言模型 基于前文预测下一个词的自回归语言模型，如GPT系列

二、模型架构类

缩写/术语 英文全称 中文全称 含义简介
Transformer Transformer 转换器/变换器 基于自注意力机制的神经网络架构，是现代大模型的基础架构
GPT Generative Pre-trained Transformer 生成式预训练转换器 OpenAI开发的基于Transformer的自回归语言模型系列
BERT Bidirectional Encoder Representations from Transformers 基于转换器的双向编码器表示 Google开发的双向语言模型，通过掩码语言建模进行预训练
T5 Text-to-Text Transfer Transformer 文本到文本迁移转换器 Google提出的将所有NLP任务统一为文本生成任务的模型
LSTM Long Short-Term Memory 长短期记忆网络 一种特殊的RNN架构，能够学习长期依赖关系
RNN Recurrent Neural Network 循环神经网络 具有循环连接的神经网络，适合处理序列数据
CNN Convolutional Neural Network 卷积神经网络 主要用于图像处理的深度学习架构，也可应用于文本
MoE Mixture of Experts 混合专家模型 由多个专家子网络和门控网络组成，通过稀疏激活提高效率
GAN Generative Adversarial Network 生成对抗网络 由生成器和判别器组成的对抗训练框架，用于生成任务
VAE Variational Autoencoder 变分自编码器 一种生成模型，通过学习数据的潜在表示来生成新样本

三、注意力机制类

缩写/术语 英文全称 中文全称 含义简介
Attention Attention Mechanism 注意力机制 使模型能够动态关注输入中不同部分的机制
Self-Attention Self-Attention 自注意力 序列内部元素之间相互计算注意力权重的机制
MHA Multi-Head Attention 多头注意力 使用多个注意力头并行计算，捕捉不同子空间的信息
MQA Multi-Query Attention 多查询注意力 多个查询头共享键值对，减少计算和内存开销
GQA Grouped-Query Attention 分组查询注意力 MHA和MQA的折中方案，将查询头分组共享键值对
Flash Attention Flash Attention 闪存注意力 优化注意力计算的IO效率，大幅加速训练和推理
Cross-Attention Cross-Attention 交叉注意力 两个不同序列之间计算注意力，常用于编码器-解码器架构

四、训练方法类

缩写/术语 英文全称 中文全称 含义简介
Pre-training Pre-training 预训练 在大规模无标注数据上训练模型，学习通用知识和表示
Fine-tuning Fine-tuning 微调 在预训练模型基础上，使用特定任务数据进行进一步训练
SFT Supervised Fine-Tuning 监督微调 使用人工标注的指令-响应对数据对模型进行有监督微调
RLHF Reinforcement Learning from Human Feedback 基于人类反馈的强化学习 通过人类偏好反馈训练奖励模型，再用强化学习优化策略
RLAIF Reinforcement Learning from AI Feedback 基于AI反馈的强化学习 使用AI系统代替人类提供反馈的强化学习方法
PPO Proximal Policy Optimization 近端策略优化 一种稳定高效的强化学习算法，常用于RLHF
DPO Direct Preference Optimization 直接偏好优化 直接从偏好数据优化模型，无需训练独立的奖励模型
IPO Identity Preference Optimization 身份偏好优化 DPO的改进版本，解决过度优化问题
KTO Kahneman-Tversky Optimization 卡尼曼-特沃斯基优化 基于前景理论的偏好优化方法
ORPO Odds Ratio Preference Optimization 优势比偏好优化

在SFT阶段同时进行偏好对齐的方法

五、参数高效微调类

缩写/术语 英文全称 中文全称 含义简介
PEFT Parameter-Efficient Fine-Tuning 参数高效微调 只微调少量参数而非全部模型参数的微调方法
LoRA Low-Rank Adaptation 低秩适配 通过低秩矩阵分解在冻结原始权重的同时添加可训练参数
QLoRA Quantized Low-Rank Adaptation 量化低秩适配 结合量化技术的LoRA，进一步降低内存需求
AdaLoRA Adaptive Low-Rank Adaptation 自适应低秩适配 动态调整不同层LoRA秩的方法
Adapter Adapter 适配器 在模型层间插入小型可训练模块的微调方法
Prefix Tuning Prefix Tuning 前缀调优 在输入序列前添加可训练的连续向量
Prompt Tuning Prompt Tuning 提示调优 只优化输入提示的连续表示，保持模型参数固定
P-Tuning P-Tuning P调优 使用可训练的连续提示嵌入进行任务适配
IA3 Infused Adapter by Inhibiting and Amplifying Inner Activations 注入式适配器 通过学习缩放向量调整激活值的参数高效方法

六、提示工程类

缩写/术语 英文全称 中文全称 含义简介
Prompt Prompt 提示词/提示 输入给模型的指令、问题或上下文，用于引导模型输出
ICL In-Context Learning 上下文学习 通过在提示中提供示例，使模型学习任务而无需参数更新
Few-shot Few-shot Learning 小样本学习 仅通过少量示例（通常3-5个）就能完成任务
One-shot One-shot Learning 单样本学习 仅通过一个示例完成任务
Zero-shot Zero-shot Learning 零样本学习 不提供任何示例，仅通过指令完成任务
CoT Chain of Thought 思维链 引导模型展示逐步推理过程的提示技术
ToT Tree of Thoughts 思维树 将思考过程组织为树状结构，探索多条推理路径
GoT Graph of Thoughts 思维图 将思考过程组织为图结构，支持更复杂的推理模式
ReAct Reasoning and Acting 推理与行动 结合推理和行动的提示框架，交替进行思考和操作
Self-Consistency Self-Consistency 自洽性 生成多个推理路径并选择最一致答案的技术

七、检索增强类

缩写/术语 英文全称 中文全称 含义简介
RAG Retrieval-Augmented Generation 检索增强生成 结合外部知识检索和生成模型，提高回答准确性
RALM Retrieval-Augmented Language Model 检索增强语言模型 集成检索机制的语言模型
Dense Retrieval Dense Retrieval 密集检索 使用稠密向量表示进行语义检索
Sparse Retrieval Sparse Retrieval 稀疏检索 基于关键词匹配的传统检索方法，如BM25
Hybrid Retrieval Hybrid Retrieval 混合检索 结合密集检索和稀疏检索的方法
Vector Database Vector Database 向量数据库 专门存储和检索高维向量的数据库系统
Embedding Embedding 嵌入/向量化 将文本、词汇等转换为稠密向量表示
Semantic Search Semantic Search 语义搜索 基于语义相似度而非关键词匹配的搜索方法

八、模型评估类

缩写/术语 英文全称 中文全称 含义简介
Benchmark Benchmark 基准测试 用于评估模型性能的标准化测试集和评估方法
MMLU Massive Multitask Language Understanding 大规模多任务语言理解 涵盖57个学科的综合性评测基准
HumanEval HumanEval 人工评估 评估代码生成能力的基准测试
GLUE General Language Understanding Evaluation 通用语言理解评估 包含多个NLP任务的评测基准
SuperGLUE Super General Language Understanding Evaluation 超级通用语言理解评估 GLUE的升级版，任务更具挑战性
Perplexity Perplexity 困惑度 评估语言模型质量的指标，值越低越好
BLEU Bilingual Evaluation Understudy 双语评估替补 评估机器翻译和文本生成质量的指标
ROUGE Recall-Oriented Understudy for Gisting Evaluation 面向召回的要点评估 主要用于评估文本摘要质量
METEOR Metric for Evaluation of Translation with Explicit ORdering 显式排序翻译评估指标 改进的机器翻译评估指标
BERTScore BERTScore BERT得分 使用BERT嵌入计算文本相似度的评估指标

九、推理优化类

缩写/术语 英文全称 中文全称 含义简介
Inference Inference 推理 使用训练好的模型对新输入进行预测或生成
Quantization Quantization 量化

# 语言模型
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

cover

QT-界面优化（下）

avatar 2048 AI社区
cover

硬刚Gemini、Claude，阿里这个免费AI终端火了，不愧是国产之光！

avatar 2048 AI社区
cover

无需编码，人人都是AI工程师：n8n与LangChain的组合拳深度解析

avatar 2048 AI社区