大模型

1.目前关于大模型（Large Models）并没有统一的定义，通常是指训练数据庞大、参数规模巨大、能力强大的深度神经网络模型。大模型的出现并非偶然，而是数据、算力与模型架构协同演进的结果。数据规模的跃迁、算力基础设施的发展，和Transformer架构优异的可扩展性，共同推动了模型规模和性能的持续膨胀，迎来了“大模型时代”。

在大语言模型（LLM）及更一般的大模型研究中，通常从参数规模、训练数据集规模和计算规模三个维
度来度量模型的规模。

大模型的分类

分类标	准类别	示例
按照模态分类	大语言模型	Qwen3/DeepSeek-V3/GPT-5语言模块
	多模态理解模型	Qwen3-VL/GPT-5/Gemini-3
	多模态生成模型	Stable Diffusion/DALL·E/Nano-Banana
按照功能分类	生成式大模型	GPT-5/DeepSeek-V3/Qwen3
	嵌入模型	BGE/E5/GTE
	重排序模型	BGE-Reranker/ms-marco-MiniLM
	分类模型	通常是经过微调的小尺寸模型、

对比

维度	生成式大模型	嵌入模型	重排序模型	分类模型
核心任务	内容生成	语义编码	相关性排序	类别预测
输出形式	自然语言/图像/音频	高维向量	相关性分数	类别标签
模型规模	百亿~千亿参数	百万~亿级参数	千万~亿级参数	百万~千万参数
计算成本	极高	极低	中低	低
典型架构	Transformer解码器	Transformer编码器	交叉编码器	逻辑回归

大模型是如何学会说话的
现代大语言模型（LLM）的训练已形成稳定范式：预训练（Pre-Training）+ 后训练（Post-Training），其中后训练通常包括：监督微调（SFT）+ 对齐优化（RLHF / RLAIF）。

阶段	核心目标	解决问题
预训练	学会语言和知识（打基础）	“模型能不能说话”
SFT	学会按指令回答（按标准做事）	“模型听不听话”
RLHF / RLAIF	学会人类偏好（按偏好做事）	“回答好不好、 对不对、 安不安全”

大模型如何落地
训练（Training）与推理（Inference）是两个完全不同的计算过程：训练：对大量样本做前向计算，计算损失，再反向传播更新参数；目标是“学到能力”。推理：参数固定，只做前向计算生成输出；基于输入（提示词）自回归生成。

大模型工程的实现
AIGC（人工智能生成内容，Artificial Intelligence Generated Content）是指以大规模预训练模型（尤其是生成式基础模型）为核心，通过学习海量数据中的统计规律和语义结构，在人类输入提示或条件约束下，自动生成文本、图像、音频、视频、代码等多模态内容的技术与应用体系。简而言之，AIGC就是用AI生成内容。

AGI（Artificial General Intelligence，通用人工智能）是指一种具备跨领域、跨任务的通用认知能力的人工智能形态，能够在不同环境和目标下进行理解、学习、推理、规划与知识迁移，并在缺乏明确任务定义或规则约束的情况下，自主发现问题并制定解决策略，其整体智能水平接近或超越人类。简而言之，AGI是通用人工智能，可以自主学习并解决大多数人类可以解决的问题。

整理如下：

工程落地的 5 大模块

从工程实现角度看，大模型的应用主要可以分为五个模块：提示词工程、RAG、微调、续训、智能体开发。

（1）提示词工程
这是最廉价的方式。
开箱即用，直接调用模型。
可以通过提示词优化和提供示例的方式，优化输出效果。

（2）RAG
当提示词工程不能达到预期效果时，如果缺少参考知识，可以尝试 RAG。
RAG 会调用外部知识库。
token 消耗往往比开箱即用略高，但开发略微复杂。

（3）微调
如果提示词工程效果不好，且原因是指令遵循能力较差、风格/话术不一致等，可以尝试微调。
微调需要收集数据，并且要有硬件资源。

（4）续训
如果微调效果仍不理想，且问题来自模型对领域语言/知识分布的系统性缺失，可以考虑收集更多数据进行续训（预训练）。
但前提是有充足的硬件资源。
续训的硬件开销通常远高于微调。

（5）智能体开发
当其它方式无法解决问题时，都可以尝试和智能体开发相结合。
智能体会涉及大模型的多次调用，token 开销较大，开发难度较高。
但从经济成本角度讲，智能体开发单次开销不及微调和续训，但长期成本可能更高。

提示词怎么写
提示词可以包含角色、任务、背景/上下文、输入数据、输出格式、质量与约束六个要素，此外还可以提供输入输出示例。

Zero-shot与Few-shot
Zero-shot 是指模型在没有任何示例的情况下完成任务。模型必须依靠其预训练知识和提示来生成答案。
当零样本不起作用时，建议在提示中提供演示或示例，这种方法称为少量样本提示（few-shot prompt），即在要求模型执行实际任务之前，给模型几个已完成的样例，从而轻松“预热”语言模型，让它为新的任务做好准备，输出我们要求和期望的样式。

结构化提示词就是把稳定约束放在 System，把动态约束放在 User，必要时用摘要状态压缩历史消息作为上下文，从而降低 token 成本、提高一致性与可控性。

#提示精灵：
https://www.promptgenius.site/
#LangChain Hub：
https://smith.langchain.com/hub
#GitHub地址：
https://github.com/f/awesome-chatgpt-prompts
#提示词工程指南-中文版：
https://github.com/PartnerDAO/Prompt-Engineering-Guide-zh?tab=readme-ov-file

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索（Retrieval）与文本生成（Generation）的技术，AI应用接收到用户请求后，先从外部知识库检索相关资料，并将这些资料与用户请求一并提供给大模型，模型在此基础上生成更准确、更有依据的回答。

在经典智能体框架中，智能体（Agent）一般指能够在环境中感知信息、基于策略做出决策并采取行动，以最大化回报或满足目标约束的系统；在大模型应用开发中，智能体通常指一种以大语言模型为推理与决策核心，结合记忆、工具调用与环境交互能力，能够进行规划决策并执行动作以达成目标的软件系统。

Function Call（函数调用，Tools call，工具调用）为模型提供了一种强大而灵活的方式，使其能够与外部系统交互并访问其训练数据之外的数据，从而拓展了模型的能力边界。

MCP就像是AI时代的USB-C通用接口，开发者只需按标准开发一次MCP Server，任何支持该协议的AI应用都能即插即用。

MCP 在一定程度上弥补了 Function Call 的不足：

1. 协作困难
   MCP 协议允许开发者把工具暴露为 MCP Server，可以被多个 AI 应用复用。

2. 适配负担重
   AI 应用只要把模型的 Function Call 格式映射为 MCP 的工具调用格式，即可调用 MCP 服务器提供的工具。当模型切换时，只需切换映射规则，不必为每个模型维护一份描述信息，一致性和维护成本大大降低。

3. 可靠性不足
   公开的 MCP Server 经过社区和众多开发者的共同检验，其工具定义和元数据信息更加规范，通常可靠性更高。

一句话总结：MCP 通过工具复用、统一调用格式和社区规范，弥补了 Function Call 在协作、适配和可靠性方面的不足。