假设你想在本地部署一个大模型（这里指大语言模型），想让它学会公司或者组织的文件、产品或者新政策。人第一反应一般是：那就 “训练” 它，让它学会这些知识。

但这恰恰是大多数人卡住的地方 —— 训练是大模型学知识的四种方式里，最贵、最慢、普通人最够不着的一种。而在它旁边，还有三条成本低得多的方法。

这篇文章描述了四种让大模型学习到新知识的方式，并对比了它们的缺点、成本与收益，给出选择建议。

一、大模型 “学新知识” 的四种方式

方式本质怎么做描述
① 全量训练知识烧进权重（模型文件）海量语料 + GPU 集群，跑几周到几月新知识全部进 “大脑”，无需查网络或文件
② 增量训练（微调）在已有权重上继续学领域数据 + LoRA，跑几小时到几天学会新知识的片段，和这类知识的逻辑框架，但记住的知识点较少
③ 外挂知识库（RAG）知识放在外面，用时检索文档切块→向量化→检索相关片段拼进提示词新知识完全外挂，使用时需要临时从外部查询相关知识片段
④ 使用时投喂把全文直接塞进提示词把文档原文贴进对话，让模型当场读最简单，问题和全量新知识一次性给到模型，极具消耗上下文

二、本质区别：闭卷考试 vs 开卷考试

闭卷考试：是知识 “烧进” 模型权重里，模型把内容 “记住” 了。这就像闭卷考试 ——学过的才答得出来，没学过的只能编。（“开卷 / 闭卷” 类比是 RAG 科普通行说法，见AI/TLDR 的 RAG 解释）

开卷考试：是将知识放在模型外面，回答问题时把问题和相关材料都 “递给” 模型看。这像开卷考试 ——给资料，它就能照着答；不给，它就答不上，甚至瞎编（来源：本地模型 “知识截止、不懂领域、不懂就编” 三类问题，见微软 Azure RAG 概念）。

两个例子对照着看，就懂这区别了：

  • 闭卷（全量训练 / 增量训练）：像你背熟了《三国演义》的人物关系。别人问 “刘备和诸葛亮什么关系”，你秒答 “君臣，还是亲戚”—— 因为知识在脑子里，不用翻书。可要是问你 “你们公司这个月新出的报销政策”，你一脸懵 ——因为这东西你没背过，脑子里没有。让模型懂你的新政策，就得把它 “背” 进去，也就是训练。

  • 开卷（RAG / 使用时投喂）：像考场上资料就摆在旁边。问 “刘备和诸葛亮什么关系”，你翻到书那页照着答。更关键的是 ——资料更新了，你下次翻到就是新内容。今天公司报销政策改了，资料一换，模型下次答的就是新的，不用重新 “背”。

但要澄清一点：开卷和闭卷，对大模型来说速度差异是秒级的，不像人。 人要是不会某个领域的知识，花费的学习和训练成本是很高的；可对大模型来说，无论知识在权重里（闭卷）还是临时给资料（开卷），回答都是一次前向推理，秒级出结果—— 它不会像人那样 “翻书翻半天”。 “开卷慢、闭卷快” 的普适理解在大模型这里根本不是问题，即：速度不是大模型在这四种方式之间的关键差异。

** 并且，开卷对大模型的 “提分” 效果，比想象中大得多 。** 学界做过实验：** 扩大检索给到的资料量，能让小模型（1.7B 参数）在问答上匹敌、甚至超过更大的模型（4B 参数），** 模型本身 “没那么懂”，但资料给足，一样答得对（arXiv《Less LLM, More Documents》：1.7B + 更大语料 > 4B）。另一项研究在医学领域实测：小模型挂上 RAG 后，诊断和治疗准确性甚至能超过更大的模型（Frontiers 风湿病学 RAG 研究）。因为模型能够被训练出文本的规律，并记住一些内容，但还做不到精确还原所有原始内容。反过来，越大的模型，对检索资料的依赖越小—— 因为它们已把更多知识 “烧” 进了权重（RAG in the Wild 研究：检索对小 / 中型模型提升明显，对最强模型增益变小）

用一个不太恰当但很好理解的隐喻：一个本科学生（小模型），在回答问题的时候，只要资料质量够高、够全，现查资料也能答到博士生的水平；一个博士生（大模型），不翻书也能答个八九不离十。模型本身的差距，完全可以用 “好材料的外挂” 来弥补。 这正是开卷（RAG）最有价值的地方 —— 它让 “模型的聪明程度” 不再被权重绝对大小所影响。

外部知识只要给够了，小模型也能够 PK 大模型了吗？除了更新的知识之外，真正卡住模型能力上限的关键因素到底是什么？

答案很简洁：影响模型对知识的理解与利用的，就两个点。第一，模型本身没有记忆，全靠上下文携带历史信息，所以它一次性看到的知识有上限（即上下文窗口）；第二，这些知识前后的关系和要点，模型的注意力能关注到多少。

先把结论摆在这里：大模型 “会” 得很快，但 “看得多、记得住” 有物理上限，这才是区分四种方式的真正分水岭。

这里有个很多人没想明白的关键点：

模型 “学到知识” 和 “产出知识” 不是一回事。
全量训练 / 增量训练 = 让权重里有（学会），好处是回答快、不需要额外资料，坏处是更新慢 —— 想让它知道新东西，就得重训。（
H3C 数字化领航：微调知识更新需重训
）
RAG / 使用时投喂 = 让这次回答里读到（查到），好处是更新快 —— 文档改一下，下次回答就是新的。（
Stochastic Sandbox
：RAG 实时更新）

如果你的需求是 “让模型懂的业务文档”，你要的是产出知识，而不是重新学会。这一点决定了后面所有的选择。

三、真正的瓶颈：模型一次能 “看到” 多少、能注意到多少关键信息

如果你老婆翻出一段视频给你看，说 “快看，打得真漂亮”—— 视频里一个女生在打网球，大汗淋漓，身姿舒展，发丝随挥拍甩起来，隔着屏幕都像有香气。你看得入神。两分钟，视频被一把关掉。老婆转头问你：“她球衣上写的几号？” 你张了张嘴，一个字答不上来，眼巴巴被捶了一顿。

你明明 “看” 了两分钟，为什么答不出球员的号码？因为你那一整段 “注意力” 全钉在脸、身材、发丝这些抓眼球的东西上，号码这种不显眼的小信息，根本没被你的注意力分配到。

大模型看一段长文档，跟你看这段视频是一回事。模型聪不聪明，不取决于 “材料给没给够”，而取决于它的注意力能抓住多少、抓得多准。

那在什么情况下，就算你喂给模型新知识，它也可能学不会？得先说清 “模型聪不聪明” 到底由什么决定。

模型能不能答好，取决于两件事：① 一次能 “看到” 多少（上下文窗口）；② 能从这一大堆信息里准确抓多少关键信息（注意力机制）。 第一个决定 “能塞进去多少有效内容”，第二个决定 “塞进去之后抓得住多少关键内容”。第二个，靠的是模型的注意力机制—— 每读一个词，模型会通过若干 “注意力头” 去回看前面的内容，衡量该看哪里。就像视频里那个球员身上的号码，如果模型有足够多的 “注意力头” 去分配，就能从一堆抓眼球的细节里，单独拎出那个不显眼的号码，并且记住它。

该理论参考论文：**注意力头数（attention heads）× 层数 **，决定了它有多少双 “眼睛” 去捕捉关键信息并交叉比对。举两个真实规格：

模型参数量 (个）层数注意力头上下文窗口（单位：token）
Qwen3-4B（单机能跑的小模型）4B36 层32 个原生 32K（Qwen3-4B 官方规格、arXiv Qwen3 技术报告）
Llama-3.1-70B（大模型）70.6B80 层64 个128K（NVIDIA Megatron 配置、karam-nus 架构表）

打比方：70B 模型有 80 层 × 64 个头 = 5120 双 “眼睛”，4B 模型只有 36 层 × 32 个头 = 1152 双。 同样一段 5 万字的文档，大模型有更多眼睛同时扫过开头、中间、结尾，还能把第 3 页的条款和第 47 页的条款放到一起比对；小模型眼睛少，扫到中间时前面的已经 “看不过来” 了。研究也证实：大模型对文本里 “不明显但重要” 的线索，注意力投入显著高于小模型（arXiv《Enhancing Elusive Clues》）。

真实对比：学界拿同一家族的两个模型做过长上下文实测 —— 同一个 LLaMA-3 家族，8B 小模型 vs 70B 大模型，在 LongGenBench 长上下文生成基准上（论文《LongGenBench: Long-context Generation Benchmark》）：

任务（都是长文本推理）LLaMA-3-8B（小）LLaMA-3-70B（大）
GSM8K 数学推理68.4 → 50.4（掉了 18 个点）82.0 → 71.2（只掉 10.8 个点）
CSQA 常识问答73.7 → 69.5（掉 4.2）81.8 → 80.1（只掉 1.7）

论文原文结论：模型变大能明显缓解长上下文下的性能退化—— 同一个问题，文档越长、越复杂，小模型掉得越快，大模型稳得住。这就是 “注意力够不够” 最直观的证据。

回到开篇那个视频例子：同样看那段网球视频 ——

  • 小模型（像一个男人）：注意力全在脸、身材、发丝这些抓眼球的地方，两分钟看完，问号码，一脸懵逼 ——记不住那个不显眼的细节。

  • 大模型（像一群男人）：注意力头多，“眼睛” 够用，不但记得背上和球衣的号码，连衣服什么颜色、发型发丝、甚至眼睫毛、瞳孔颜色都清清楚楚 ——不显眼的细节它也能单独拎出来记住。

小模型的注意力是 “挑重点”，大模型的注意力是 “尽量全收”。这就是使用时投喂大量知识不可靠的根源：窗口只是 “装得下”，注意力才决定能不能抓住散落的关键信息。

再拆开看这两层瓶颈：

瓶颈一：模型一次能 “看到” 多少（窗口层）

  • 使用时投喂的天花板，就是这个窗口。窗口够大，文档直接扔进去就行；窗口不够大，塞都塞不进去。

  • ** 云上的大模型，窗口确实大，但贵、而且要上传数据：** 豆包通用大模型：上下文窗口 256K，约 40 万汉字，官方说法 “能一次读《三体》”（豆包大模型团队公告、火山引擎模型列表）千问 Qwen3-Max：256K；Qwen2.5-Turbo 到 1M（百万 token）（通义千问官方、Qwen 博客）。

  • ** 本地想跑大窗口，显存先扛不住：**Llama-3.1-70B 官方支持 128K 窗口，但 4bit 量化就要约 48GB 显存，128K 全开要约 65GB 显存 —— 单卡 24GB 的 4090 都跑不动，得上 A100/H100（HuggingFace Llama 3.1 官方博客、Ollama llama3.1、Local AI Master 实测）

  • ** 于是小团队卡在两头：** 用云大模型：窗口够、眼睛够，但数据要传上去，业务文档多为红线数据，不敢传；还得按 token 持续付费（英特尔 RAG 企业指南：RAG 免重训、避免外部共享数据）。在本地跑大模型：只能跑小模型（3B~14B），窗口小、眼睛更少，开 32K 就得勒紧裤腰带，再大 KV cache 就把显存撑爆

瓶颈二：塞得下 ≠ 读得仔细、记得住（注意力层）。这是更硬的天花板，学界叫 “上下文退化”，由三个被反复验证的机制造成：

  • 中间迷失（Lost in the Middle）：模型对长上下文的使用不均匀—— 开头结尾的关键信息用得好，埋在中间的往往被忽略，性能曲线是 U 形。就像让你在一段两分钟视频里找中间某个一闪而过的号码，你大概率不如记得开头或结尾的画面来得准。（论文《Lost in the Middle》）

  • 上下文退化（Context Rot）：输入超过临界点性能断崖式下降；把窗口开大只是把退化点往后推，不解决退化本身—— 就像人读 100 页比读 20 页更容易忘，但你给 100 页的容量并不能让记忆力变好。（Chroma 研究综述、ZeroEntropy）

  • 注意力锚点（Attention Sink）：模型把大量注意力倾注在开头几个 token 上，中间内容分到的注意力很少 ——“读过” 不等于 “记住了”。（MIT StreamingLLM、arXiv）

以上所述：窗口决定能不能塞进去，注意力决定能不能把关键信息从头到尾抓住、并交叉关联起来。 我们在使用模型时，再投喂大量知识的问题不是上下文窗口塞不下，而是塞进去之后模型 “顾头不顾尾”—— 尤其当模型小、眼睛少的时候。窗口越大、模型越小，这个问题越明显。

把四种学习新知识的方式，在遇到 “窗口 vs 注意力” 问题的时候，差别如下：

方式吃不吃 “窗口”吃不吃 “注意力”怎么绕开短板
① 全量训练不吃（训练时已经计入权重）不吃（训练时已经计入权重）知识烧进权重，回答时窗口只装问题和答案，不用现场翻文档
② 增量训练（微调）不吃（增量部分计入权重）不吃（增量部分计入权重）同上，不过只有部分知识也在权重里，理论上不依赖窗口和注意力
③ 外挂知识库（RAG）吃，但有限（向量语义匹配，只给相关知识）特别省（新增知识片段少）先把相关片段拎出来（检索），只喂给模型几段，窗口不用大，注意力不用从一堆里找
④ 使用时投喂最吃窗口（全量知识）最吃注意力（全量知识）全文塞进窗口，模型得自己在几百页里翻关键信息，两头都吃，一长就挂

全量训练和增量训练压根不受影响，因为知识在权重里，回答时只需要短窗口，注意力压力小。RAG 是最精明的， 因为它把 “找关键信息” 从模型的注意力压力转嫁到了 RAG 向量检索上，向量检索的召回率如果够高，注意力只需要盯住那几段文字，两头都不紧张。** 唯独使用时投喂最吃亏，** 它逼着模型在长窗口里靠注意力自己翻，窗口越大、内容越长，模型越容易 “顾头不顾尾”。

换句话说：全量训练和增量训练是用算力换注意力，RAG 是用检索换注意力，只有使用时投喂是硬赌模型自己的注意力和记忆力。

把这个 “窗口 vs 注意力” 的维度套回到四种方式上看，区别就很清楚了：

方式靠什么窗口关系注意力关系
① 全量训练把知识烧进权重，靠算力 + 数据无关（窗口是推理时才用）无关（训练时靠的是梯度，不是注意力）
② 增量训练（微调）在已有权重上补学，靠算力 + 数据基本无关基本无关（改权重，不改推理注意力）
③ 外挂知识库（RAG）用检索把相关片段拎出来，再喂给模型关系小（只喂几段，不占满窗口）** 关系大，** 它把 “该看哪” 提前算好，让模型的注意力不用在长文里乱翻，集中到刀刃上
④ 使用时投喂全文硬塞进窗口关系最大（完全取决于窗口装不装得下）关系最大（完全赌模型在长文里能不能抓住关键）

全量训练和增量训练靠的是 “烧权重”，跟窗口、注意力关系不大；RAG 靠 “向量检索” 提前替注意力圈好范围；只有使用时投喂，两个都硬赌—— 窗口小了塞不下，窗口大了模型又记不住，两头堵。

对于预算有限的组织和个人来说，这就是 “又要长上下文、又只有小模型” 的死结。那怎么办？答案回到开卷考试 ——别让模型去长上下文里翻找，而是先把最相关的片段拎出来、放到问题旁边。这正是 RAG 做的事：与其赌模型的记忆力和注意力，不如直接把答案相关的几段递给它，让有限的注意力全用在刀刃上。

四、成本与投入产出比：四条路放在一起算账

维度① 全量训练② 增量训练（微调）③ 外挂知识库（RAG）④ 使用时投喂
初始成本最高（云 GPU 按天烧）低（魔搭免费线 / 按 token 计）自搭≈0 / 商用按量最低（仅调 API）
更新成本极高（重训）高（重训）最低（数据库实时更新）改提示词，低
知识规模大中大小（受窗口限）
时效性差差好（实时）好
可溯源无无有（页码）无
硬件要求GPU 集群GPU 或云算力普通 PC看窗口
适合做基础模型改风格 / 技能灌业务知识短文档临时问

① 全量训练

  • 成本：海量语料 + GPU 集群 + 训练工程师，是四种里最高、普通人最够不着的一种。公开可量化报价基本按云 GPU 租用按小时计费。

  • 收益：知识全在权重里，回答最快最稳

  • 结论：不计成本它最好；但只要算成本，它第一个出局

② 增量训练（微调）

  • 成本：门槛比想象低很多。云平台普遍提供 “免费 / 极低价” 训练档位 ——

    • 魔搭（ModelScope）有免费训练线，靠每日签到送 “魔粒” 抵扣算力，LoRA 微调小模型几乎 0 现金成本（魔搭社区）；学生账号还有 300 小时免费 GPU（魔搭 xGPU 说明）

    • 阿里云百炼训练按 token 计费：约 0.3 元 / 千 token（阿里云百炼训练计费）

    • 真正贵的不是算力，是准备高质量数据 + 每次更新都要重训一遍的人力与时间

  • 收益：能让模型学会特定风格、格式、说话方式（新浪 AI 通识课：微调改变行为）

  • 硬伤：① 学新事实很难，研究实测增量训练的微调对 “新知识” 提升远低于 RAG（arXiv《Fine-Tuning or Retrieval?》）；② 灾难性遗忘，学新忘旧（arXiv）

  • 结论：它是 “改行为” 的工具，不是 “灌知识” 的工具

③ 外挂知识库（RAG）

  • 成本：两种走法。

    • 自己搭：开源向量库 + embedding + rerank，基本零软件成本，普通 PC 就能跑（国内的开源项目的一个例子https://gitee.com/liuyanfu001/raglocal.git ）

    • 用商用 RAG 服务：按量收费。以阿里云百炼为例 ——

      • 知识库规格：标准版 0.03 元 / 知识库・小时，旗舰版 0.2 元 / RCU・小时（1 RCU≈50 QPS）（百炼知识库计费说明）

      • 新用户有 720 小时免费额度

      • 向量化 / 重排模型：约 0.0005 元 / 千 token（同上）

      • 一次检索（100 token 查询 + 召回 150 切片重排）约 0.0375 元（同上）

  • 收益：文档加进去立刻生效、更新实时（新浪 AI 通识课）；回答可溯源（arXiv 对比表：RAG 高透明度）；小窗口小模型也能用，只检索最相关片段，不全塞

  • 代价：多一次检索延迟；检索不准会答错（arXiv 对比表：RAG 延迟更高）

  • 结论：企业 / 小团队 / 个人有一堆内部文档要问，这是性价比最高的一条

④ 使用时投喂

  • 成本：按 token 收费，看得见、每次都在花。豆包 doubao-seed-2.1-lite 输入约 0.8 元 / 百万 token、输出约 2.7 元 / 百万 token（火山引擎模型价格页）；通义 qwen-plus 输入约 0.4 美元 / 百万 token（阿里云百炼模型价格页）。文档一大，每次提问等于把全文喂一遍，token 成本线性上涨。

  • 收益：实现最简单，几行代码

  • 代价：只能处理少量 / 短文档；长文本 “中间迷失”（见第三节）；不能复用、不能多人共享

  • 结论：偶尔问一份短文档，直接贴；做知识库，别用它

到这里，四种方式的 “使用场景、成本、优缺点、能装多少” 就说得差不多了，怎么选心里应该有数了。

⚠️ 以上价格为
2026-10-16
查询的官方公开价，厂商会不定期调价，以官网实时为准。

五、本地单机 RAG 的成本实测

最后为了验证 RAG 是否真的能解决小模型 “窗口小和注意力不足” 两大问题，我们用一台普通办公机做了一次开源实测。

机器配置：i7-1165G7 + 16G 内存 + Iris Xe 核显（共享 8G 显存），没有任何独立显卡，就是一台 Windows 笔记本。

选择的本地模型是一个 4B 参数的中文小模型（Qwen3-4B），用 RAG 给它挂上外部知识，实测结果如下（本机实测数据）：

模型上下文窗口极限并发推荐上限每多一个用户多占内存
2K16 用户12 用户0.19G
4K10 用户8 用户0.3G

知识库能装多大？ 实测入库 20 万 chunks（每 chunk 500 字，约合 1 亿字 / 20 万页），RAG 服务全程常驻内存仅 1.31 GB（含 embedding 模型、rerank 模型、Chroma HNSW 索引和服务进程）。按此推算，4 GB 内存档可承载 50 万 chunks（约 2.5 亿字 / 50 万页），对绝大多数小团队和个人的文档量来说绰绰有余。

召回准不准？ 在 20 万 chunk 库上实测（不开 ReRank，纯向量检索）：

指标候选 30候选 50候选 100
recall@1095.0%95.0%94.8%
MRR@10（答案平均排位）第 1.1 位第 1.1 位第 1.15 位

按片段长度分桶（候选 30）：短段（<80 字）召回 97.0%，中段（80-250 字）召回 100.0%，长段（≥250 字）召回 87.9%。此外在 C-MTEB 官方三集标准评测（DuRetrieval / CovidRetrieval / MMarcoRetrieval，合计 30.6 万段语料、9,929 条官方 query）上，本系统实测 nDCG@10 = 70.7 分，同模型官方基准为 61.77 分，高出 8.9 分。

结论：一台 16G 内存的普通办公机，不带显卡，挂上 RAG 跑 4B 模型，能同时服务 8~12 个用户查询，内存占用可控；20 万 chunk 知识库召回率 95%、答案平均排第 1.1 位。既满足了 “数据不出本机” 的私有化要求，又不需要专用服务器 —— 对小团队来说，这条路是真实的、可落地的。

结尾

其实对于预算有限的组织和个人想让大模型学会你的新知识，真不一定非要 “训练”。

关键是别老想着把知识烧进模型的权重，那是闭卷考试，又贵又慢。让模型 “会查资料”，才是普通团队能走的路：不仅成本低一个量级、更新实时、还能追到出处，还能把公司的资料留在本地，不出外网，一点点沉淀成自己的数字资产。

本地实测

参考文献

概念与框架

上下文窗口规格

价格（2026-10-16）

机制研究

# 学习
Logo
2048 AI社区

有“AI”的1024 = 2048，欢迎大家加入2048 AI社区

更多推荐

企业AI科普：企业AI是什么，企业通常用它解决哪些工作问题

企业AI，是面向组织业务场景构建的人工智能应用集合，区别于面向个人用户的消费级AI工具。它依托大语言模型、多模态能力、智能体编排、知识库检索等底层技术，嵌入企业现有办公、业务流程，承接团队协作、信息处理、内容生产、数据分析等工作任务。企业AI不是单一聊天窗口，而是一套可以对接组织内部知识、权限体系与第三方工具的应用体系。从技术形态上划分，企业AI包含基础对话助手、知识库问答、自动化工作流，以及当下

avatar 2048 AI社区

工程架构演化总结

分离之后，不太占用资源的前端，只需要冗余2个，便可以稳定运行，不需要为它扩展太多资源。现在AI开始流行，引入了AI智能体，AI智能体是一种AI工程的架构，它包括四个部分，分别为工具、记忆、规划、执行。微服务架构，是为了节省资源，把资源更多用在瓶颈服务上，因此把服务拆得更细，这其中拆服务也是借鉴了领域驱动开发的思想。云原生架构，并没有颠覆前两种架构，它是部署架构的升级，通过云原生，它的目标是对资源进

avatar 2048 AI社区
cover

2026哪个小程序制作平台可以生成二维码？这几款帮你轻松搞定！

avatar 2048 AI社区