写在前面

  本篇文章用来记录在了解学习大模型的过程中遇到的一些名词缩写,好记性不如烂笔头,记录下来,也供大家参考。如有不正确的,欢迎指正。



名词扫盲

分类 缩写 英文全程 中文 备注
- - - - -
Agent A2A Agent to Agent 智能体交互协议
AAMS Attention-aware Multi-stroke Style Transfer 任意风格图像风格转移的[注意力感知]多笔触模型 计算机视觉模型
ADB Android Debug Bridge 是一种命令行工具,用于在开发者电脑与 Android 设备之间建立通信
Agent ADK Agent Development Kit 智能体开发工具
Agent Agent 智能体 让大模型“代理/模拟”「人」的行为,使用某些“工具/功能”来完成某些“任务”的能力
AI AGI artificial general intelligence 强人工智能 通用人工智能,是具备与人类同等智能、或超越人类的人工智能
AI AI Artificial Intelligence 人工智能
AI AI Hallucinations AI幻觉
AIGC AIGC Artificial Intelligence Generated Content 人工智能生成内容
AIME American Invitational Mathematics Examination 美国数学邀请赛
AI ANI Artificial Narrow Intelligence 弱人工智能
PE APE Automatic Prompt Engineering 自动提示工程
AI ASI Artificial Super Intelligence 超人工智能
AZR Absolute Zero Reasoner 绝对零点推理器 能够训练大型语言模型而无需任何外部人工标注数据
Transformer BAAI General Embedding Beijing Academy of Artificial Intelligence 北京智源人工智能研究院 稠密向量
LLM Base Model 基座模型 基座模型是一个通用的语言模型,通常经过大量文本数据的预训练
LLM Base LLM 基础语言模型
RAG Basic semantic similarity 基本语义相似度 检索技术
Evaluation benchmark 基准测试
Transformer BERT Bidirectional Encoder Representation from Transformers 双向编码器表示 在2018年提出的一种预训练语言表示的方法
BLEU Bilingual Evaluation Understudy 双语评估替换 BLEU是一种用于评估机器翻译结果质量的指标。它主要侧重于衡量机器翻译输出与参考翻译之间的相似程度,着重于句子的准确性和精确匹配。
BPE Byte Pair Encoding 基于字节对编码 主流的子词切分算法,用于进行tokennization(将输入文本拆分为token)
CBOW continuous bag of words 连续词袋模型 给定上下文,来预测input word
Chat Model 聊天模型 聊天模型是在基座模型的基础上,特别针对对话生成进行了优化
Claude Anthropic 开发的一系列高性能且智能的AI 模型。强调模型行为的安全性和可控性
CLIP Contrastive Language-Image Pretraining 图文对比学习预训练 多模态模型
CNN Convolutional Neural Network 卷积神经网络
codeforces 一个提供在线评测系统的俄罗斯网站
COT Chain Of Thought 链式思维
CPU Central Processing Unit 中央处理器 处理器
dify 是一个开源的LLM 应用开发平台(画布、工作流)
DAPO Decoupled Clip and Dynamic Sampling Policy Optimization 解耦裁剪与动态采样
DOM Document Object Model 文档对象模型
DPU Deep learning Processing Unit 深度学习处理器 处理器
DSL Domain Specific Language 领域特定语言
DPO Direct Preference Optimization 直接偏好优化 跳过RM直接对齐人类喜好
ETL Extract-Transform-Load 提取、转换和加载
AI Embodied AI 具身智能
Few-shot 小样本 少样本提示应至少使用三到五个示例
Function Calling 函数调用
FFN Feed-Forward Neural Network 前馈神经网络
FRCRN frequency recurrence Convolutional Recurrent Network 频率递归卷积循环网络 语音模型,用于降噪
Gemini Google开发的生成式人工智能聊天机器人
GGUF GPT-Generated Unified Format Georgi Gerganov定义发布的一种大模型文件格式(预训练结果的二进制格式)
GLUE General Language Understanding Evaluation 通用语言理解评估 基于已有的 9 种英文语言理解任务,涵盖多种数据集大小/文本类型和难度。终极目标是推动研究,开发通用和强大的自然语言理解系统
GLM Generalized Linear Model 广义线性模型 是一种用于描述响应变量与一组解释变量之间关系的统计模型
Goal-Based Agent 基于目标的智能体 比如:导航
GoT Graph of Thoughts 思维图 将思维链构建成图结构,支持循环、分支和整合
GPU Graphics Processing Unit 图形处理器 处理器
GPT Generative Pre-trained Transformer 生成式预训练变换器
GPQA Grade-Level Problems in Question Answering 专家级推理能力的问答基准
GQA Grouped-Query Attention 分组查询注意力
GRPO Group Relative Policy Optimization 组相关策略优化 是一种强化学习算法
LLM GRU Gate Recurrent Unit 门控循环单元
GSPO Group Sequence Policy Optimization 群组序列策略优化 在序列级别进行裁剪优化,比 PPO 更稳
HITL Human-in-the-loop 是一种将人类判断和监督整合到AI系统决策过程中的设计理念
HyDE Hypothetical Document Embeddings 假设性文档嵌入 检索技术
Including Metadata 使用元数据 检索技术
Instruction Model 指令模型 指令模型是在基座模型上进行进一步训练,以理解和执行用户的具体指令
Instruction Tunned 指令微调 通过专门的训练,可以更好地理解并遵循指令
KL Kullback-Leibler Divergence KL散度 约束训练模型不偏离原始模型
LCEL LangChain Core Execution Layer langChain的新实现层
Learning Agent 学习型智能体
LIME Local Interpretable Model-agnostic Explanations 局部可解释性模型诊断解释
LoRA Low-Rank Adaptation of Large Language Models 大语言模型的低阶自适应
LLM Large Language Model 大语言模型
LLM Aided Retrieval LLM辅助检索 检索技术
llama Large Language Model Meta AI Meta AI公司于2023年2月发布的大型语言模型
LLM LSTM Long-Short Term Memory 长期短期记忆
MAS Multi-Agent System 多智能体系统
MBRA Model-Based Reflex Agent 基于模型的反射智能体
MCP Model Context Protocol 模型上下文协议 由Anthropic 推出的一种开放标准,旨在统一大型语言模型(LLM)与外部数据源和工具之间的通信协议。
MHA Multi-Head Attention 多头注意力 并行捕捉多重语义关联
MLA Multi-Head Latent Attention 多头潜在注意力 架构
MLM Masked Language Model 掩码语言模型 是一种自监督学习任务,主要用于训练基于Transformer架构的模型(如BERT、RoBERTa等)
MMLU Massive Multitask Language Understanding 大规模的多任务测试
MMR Maximum marginal relevance 最大边际相关性 检索技术
MoE Mixture of Experts 混合专家模型 架构
MQA Multi-Query Attention 多查询注意力 共享KV头,加速推理省显存
MSE Microservices Engine 微服务引擎MSE
MTP Multi-Token Prediction 多Token预测技术
NLP NLP Natural Language Processing 自然语言处理
NPU Neural network Processing Unit 神经网络处理器 处理器
ollama Ollama是大语言模型便捷的管理和运维工具
one-hot 独热码 将离散的分类标签转换为二进制向量
One-shot 单样本
Paraformer 达摩院语音团队提出的一种高效的非自回归端到端语音识别框架 语音模型
PDDL Planning Domain Definition Language 规划领域定义语言
PEAS Performance性能、Environment环境、Actuators执行器、Sensors传感器 用于描述一个任务环境的规约
Prompt 提示词,即给大模型的输入 将大模型返回的输出称为Completion
PE PE Prompt Engineering 提示工程
PPO Proximal Policy Optimization 近端策略优化 主流的强化学习微调算法
Prompt Rejection 提示词注入
Precision 精确率 又叫查准率,但不等同于准确率,精准率代表对正样本结果中的预测准确程度;而准确率则代表整体的预测准确程度,既包括正样本,也包括负样本
Pretrain-Finetune 预训练-微调
Prompt Stuffing 提示词填充
RAG RAG Retrieval-Augmented Generation 检索增强生成
ReAct Reasoning and Action 融合了Reasoning和Acting的一种范式,推理过程是浅显易懂,仅仅包含thought-action-observation步骤
Recall 召回率 实际为正的样本中被预测为正样本的概率
Retrieval 检索 指根据用户的问题去向量数据库中搜索与问题相关的文档内容
RL Reinforcement Learning 强化学习
RL RLAIF Reinforcement Learning from AI Feedback AI 反馈强化学习 用强 AI 代替人类给模型打分,降低成本
RL RLHF Reinforcement Learning from Human Feedback 基于人类反馈对语言模型进行强化学习
RM Reward Model 奖励模型 模拟人类偏好给回答打分
ROUGE Recall-Oriented Understudy for Gisting Evaluation 面向召回的要点评估替补 主要关注机器生成的摘要中是否捕捉到了参考摘要的信息
ROPE Rotary Positional Embeddings 旋转位置编码 它旨在解决 Transformer 模型如何理解序列中 token 顺序(位置信息)的问题
RPA Robotic Process Automation 机器人流程自动化
RRF Reciprocal Rank Fusion 倒数排名融合
RWKV Recurrent Weighted Key Value 基于RNN的加权键值
LLM RNN Recurrent Neural Network 循环神经网络 【特点】:具有“记忆”功能。在处理当前输入时,它不仅考虑当前时刻的信息,还结合了上一时刻的隐藏状态(即之前的记忆)像人阅读一样,逐字逐词地按顺序处理信息。【局限】:1、无法并行计算:因为必须等上一步计算完才能算这一步,速度较慢;2、长距离依赖问题:当序列很长时,开头的记忆很容易在后面丢失(即“梯度消失/爆炸”问题)。【代表模型】:LSTM, GRU
LLM SA Self-Attention 自注意力机制 它允许模型在处理序列中的某个元素时,同时关注序列中的其他所有元素,以计算它们之间的相关性。【特点】1、并行计算:可以一次性处理整个序列,速度极快;2、捕捉长距离依赖:无论两个词距离多远,它们之间的计算路径长度都是 1,能够完美捕捉长距离的上下文关系。【代表模型】:Transformer, BERT, GPT
SAE Serverless App Engine Serverless 应用引擎
SAM Self-Attention-Mechanism 用于文本到语音的生成
SC self consistency 自我一致性
SDD Spec-Driven Development (SDD) for AI coding assistants 规约驱动开发
SFT Supervised Fine-Tuning 监督微调
SHAP SHapley Additive exPlanations 沙普利加和解释 比较全能的模型可解释性的方法
Skip-Gram 给定input word来预测上下文
Softmax 归一化指数函数 应用于多分类问题
SPLADE Sparse Lexical and Expansion Model for First Stage Ranking 是一个基于BERT的稀疏编码模型
SRA Simple Reflex Agent 反射智能体 condition action rule,达到条件触发规则
SSE Server Sent Events 服务器发送事件 是Cline和MCP Server之间的一种通信方式,仅支持服务器 → 客户端消息
SSM State Space Model 状态空间模型 Mamba 的核心架构,推理速度快,长文本强
STDIO Standard Input Output 标准输入/输出 是Cline和MCP Server之间的一种通信方式
SuperGLUE Super General-Purpose Language Understanding Evaluation 超(级)通用语言理解评估
SVM Support Vector Machine 支持向量机
SWE-bench Verified Software Engineering 软件工程基准测试
SWIFT Scalable lightWeight Infrastructure for Fine-Tuning 轻量级训练和推理框架 旨在帮助开发者高效地微调和部署大模型
TAO Thought(思考)->Action(行动)->观察(Observation)
temperature 温度系数 用于控制文本生成的随机性和多样性。值越大,多样性越大,值越小,输出约倾向高概率文本
TF-IDF term frequency–inverse document frequency 支持向量机 一字词对于一个文件集或一个语料库中的其中一份文件的重要程度
ToT Tree Of Thoughs 思维树
Tokenizer 分词器
TPOT Time Per Output Token 平均每个输出Token的生成时间(解码阶段) 衡量内容生成流畅度
TPU Tensor Processing Unit 张量处理器 处理器
Transformer 变换器 架构
TTFT Time To First Token 从请求发送到收到第一个输出Token的时间 衡量系统初始响应速度
TTS Text To Speech 文本转语音
Utility-Based Agent 基于效用的智能体
Vertex AI Vertex AI 是一个机器学习 (ML) 平台,可让您训练和部署机器学习模型和人工智能应用
vLLM 伯克利大学LMSYS组织开源的大语言模型高速推理框架
VLM VLM Vision-Language Models 视觉语言模型
VQA Visual Question Answering 视觉问答 理解图像内容回答文本问题
WAF Web Application Firewall 防火墙
Word2Vec 用于生成词嵌入(word embeddings)的高效方法
Zero-shot 零样本
- - - -

写在后面

  如果本文内容对您有价值或者有启发的话,欢迎点赞、关注、评论和转发。您的反馈和陪伴将促进我们共同进步和成长。

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐