FMS 现场观察

一个月前，即2026年8 月 4–6 日在美国 Santa Clara 举办的 FMS 2026（Future of Memory and Storage） 上，KV Cache 几乎成为 AI Storage 领域最热门的关键词之一。它已经不再只是大模型软件优化中的一个技术细节，而是被正式提升到了数据中心 Memory/Storage 架构设计的层面。从 Keynote、Technical Session、Panel 到展台 Demo，都能看到围绕 KV Cache 展开的讨论：Supermicro 与 Graid 专门讲了 “Tiered KV Cache from HBM to NVMe”，Penguin Solutions 讨论 CXL-Powered KV Cache，XCENA 发表 “KV Cache Sharing” 并现场展示基于 CXL 的共享 KV Cache，Macronix 也安排了专门的 KV Cache Offloading 案例演讲；CXL Consortium 的专题讨论则直接涉及 KV Cache offloading、memory pooling 和 sharing。 更值得注意的是，NVIDIA、SK hynix、AIC、Marvell 等厂商都在强调同一个趋势：随着长上下文、Agentic AI 和并发推理规模快速增加，HBM 已经越来越难独自容纳不断膨胀的 KV Cache，因此 DRAM、CXL Memory、NVMe SSD 甚至网络化 Flash 正开始被重新组合成新的分层“Context Memory”体系。 可以说，FMS 2026 释放出了一个非常清晰的信号：未来 SSD 的角色可能不再只是“存模型、存数据”，而是开始直接进入 AI 推理的 Memory Hierarchy，成为 GPU HBM 的下一级 KV Cache 扩展层。

先把 KV Cache 讲明白

如果把大模型一次回答想成“边翻资料边说话”，那么 KV cache 就是它已经翻过并且做了索引的那摞资料。自回归 Transformer 在生成第 (t) 个 token 时，不需要再把前面 (1 \ldots t-1) 个 token 的历史信息从头重算一遍；它把每一层里前面 token 对应的 Key 和 Value 先存起来，下一步只新算当前 token 的 Query，再去读取历史 K/V 做注意力。

这件事听上去像一个“理所当然的小优化”，但它真正厉害的地方在于：没有 cache 时，模型是在重复算旧账；有了 cache 以后，它变成了只算新账、反复翻旧账。因此，问题不再只是 FLOPs，而开始变成“旧账本有多厚、翻页有多快、这本账放在哪一层内存里”。Noam Shazeer 在 2019 年关于 Multi-Query Attention 的论文里就明确指出，增量解码之所以慢，很大成分来自反复搬运越来越大的 K/V 张量，瓶颈常常落在内存带宽而不是纯算力上。

从硬件工程师的视角，KV cache 可以粗暴地看成一个按 层数 × token 数 × KV 头数 × 每头维度 × 数据类型字节数 线性增长的状态池。按一种最常见的 MHA 粗算：如果是 32 层、32 个 KV heads、head dimension 为 128、数据格式是 FP16，那么每新生成 1 个 token，K/V cache 大约就多 0.5MB；8K 上下文就是约 4GB，8 路并发就是约 32GB。这还没算碎片、复制前缀、调度冗余和运行时元数据。也正因为它按上下文长度和 batch 线性膨胀，Hugging Face 文档才会把 KV cache 明确写成“只用于 inference 的关键优化”，而 vLLM 的 PagedAttention 论文则把它直接称为 LLM serving 的新瓶颈。

归纳起来，KV cache 其实有三层问题。第一层是 容量问题：上下文越长、并发越高，cache 越大。第二层是 带宽问题：decode 阶段每出一个 token，都要反复读历史 K/V。第三层是 管理问题：如果不同请求前缀相同，却各存各的，就会造成前缀重复、显存碎片和无谓拷贝。过去三年关于 KV cache 的几乎所有热点论文和系统，都是围绕这三件事打转，只是各自下刀的位置不同。

所以，后面你看到的各种名词——MQA/GQA/MLA、PagedAttention、prefix caching、SnapKV、KIVI、TurboQuant、offloading——本质上都在做四类事情：要么从模型结构上让 K/V 天生更小，要么从运行时管理上让 K/V 少浪费，要么从压缩/量化上让 K/V 更省字节，要么从内存层级上把 K/V 从 GPU 挪到 CPU、磁盘甚至网络存储。

它是怎么一路从工程技巧卷成研究热点的

KV cache 的历史，可以分成一个很清楚的演进链条。最初它只是 Transformer 自回归推理里的“别重复算”的默认工程手段；随后人们发现，随着模型更大、上下文更长、服务更高并发，cache 本身已经从配角变成主角。2019 年，Multi-Query Attention 把“所有 query heads 共享同一组 K/V heads”这件事正式讲透，目标就是减少增量解码时反复搬运 K/V 的带宽和容量压力。到了 2023 年，Grouped-Query Attention 进一步在 MHA 和 MQA 中间找折中：既不像 MHA 那样 K/V 太大，也不像极端 MQA 那样太伤质量。论文结果表明，GQA 可以做到质量接近 MHA、速度接近 MQA，于是它很快从论文走向主流开源模型。

这一波结构性改造很快进入模型主流。DeepSeek 在 DeepSeek-V2 里引入了 MLA，把 K/V 压到潜变量里，论文给出的数字非常夸张：KV cache 下降 93.3%，最大生成吞吐上升 5.76 倍。与此同时，Meta 的 Llama 3 明确采用了 GQA 来提升推理效率，Gemma 2 的技术报告也把 GQA 列为核心结构修改之一。对于硬件侧读者来说，这一步的意义非常大：KV cache 不再只是 runtime 的补丁，而被写进了模型 architecture 本身。

另一条支线是“不改模型，改运行时”。2023 年的 H2O 提出“heavy hitters”思路：不是所有历史 token 都同等重要，真正决定注意力分数的往往只是少数 token，因此可以做选择性保留/驱逐；同年的 StreamingLLM 则发现了 attention sink 现象，证明只保留最近窗口再加上开头少数“沉锚 token”，模型就能稳定流式生成到百万级甚至更长上下文；而 vLLM 的 PagedAttention 则把操作系统里“分页”的思想搬到 KV 管理，直接解决显存碎片和前缀共享，使吞吐在同延迟下提升 2–4 倍。

到了 2024 年，研究重点明显转向“cache 压缩”。SnapKV 的核心观察是：很多头在真正生成前，就已经通过 prompt 尾部的 observation window 暴露出“接下来会关注谁”的模式，于是它可以预先压缩长 prompt 的 KV cache，在 16K 输入上带来 3.6 倍生成速度和 8.2 倍内存效率；KIVI 则系统研究了 K cache 与 V cache 的分布差异，提出了无需微调的 2bit 非对称量化，报告显示可让峰值内存下降 2.6 倍、吞吐提升 2.35–3.47 倍。到这个阶段，KV cache 已经从“能不能缓存”变成了“如何以几乎不掉点的方式极限压缩”。

再往后，技术开始系统化进入产品与数据中心栈。SGLang 用 RadixAttention 把 KV cache 放进 radix tree 里做自动前缀复用，并在论文中报告它已经部署在 Chatbot Arena 的 open-weight 模型服务上，一个月内观测到 LLaVA-Next-34B 的 cache hit rate 为 52.4%，Vicuna-33B 为 74.1%；LMCache、Ray Serve、NVIDIA Dynamo 又把 KV cache 继续往 CPU RAM、本地磁盘、远端存储推进，变成了跨请求、跨实例、跨节点的多层级资源。换句话说，KV cache 研究的重心已经从“一个单机技巧”，升级成“整个推理系统的 memory hierarchy 设计”。

那篇让圈子再度沸腾的论文是谁

Google Research 在年初 2026 年 3 月 24 日发出来、并于 ICLR 2026 展示的 TurboQuant 之所以格外刺眼，不只是因为它讲 KV cache，而是因为它把“训练免费、3bit、至少 6 倍压缩、H100 上某些 attention-logit 计算最高 8 倍提速、几乎不掉精度”这些关键词一次性塞进了一篇论文和一篇官方博客里。也正因为这样，相关消息在 3 月下旬被放大后，内存和存储股票一度出现明显抛压。

TurboQuant 的技术路线可以很通俗地理解成“两段式压缩”。第一段是 PolarQuant：先把向量做随机旋转，把原本不那么好压的几何分布，变成更容易逐坐标量化的形状；第二段是 QJL：对第一段留下的残差再做一个近乎零开销的 1bit 纠偏，用来消除内积估计的系统偏差。Google 的官方博客把它定位为既适合 KV cache compression，也适合 vector search 的基础压缩方法；OpenReview 页面则给出更精确的学术口径：在 KV cache 量化上，3.5 bits/channel 基本做到了绝对质量中性，2.5 bits/channel 只有轻微质量退化。

它为什么会让硬件圈格外敏感？因为它正对着今天推理系统的痛点开火：decode 端的 cache 会随着上下文线性变大，带宽越来越像“搬运问题”而不是“计算问题”。如果一个方法真能在不训练、不大改模型的前提下，把这块 transient state 压到原来的六分之一左右，那它意味着同一块 GPU/同一台服务器上可以塞进更多并发、撑更长上下文，并降低 cache 读写带来的延迟。对于正在做长上下文 agent、RAG、多轮聊天的人来说，这几乎就是“现钱”。

但也要给这篇论文降降温。第一，它优化的是推理时的 KV cache，不是模型权重本身，也不是训练期激活；第二，它再漂亮，也要经过内核实现、runtime 适配、模型家族验证、线上稳定性验证，才会大规模吃进生产；第三，更重要的一点是，它降低的是单次请求、单 token、单层级上的 cache 字节数，这通常会使系统愿意去跑更长上下文、更大 batch、更高 QPS。所以它更像是在重画推理成本曲线，而不是直接宣布“数据中心以后不需要那么多内存了”。这一点从 vLLM 对 FP8 KV cache 的表述也看得很清楚：省下来的直接结果是“能在内存里放更多 token、支持更长上下文、提升吞吐”，并非天然对应总需求下降。

其实，更早一步把硬件圈震住一篇文章是 DeepSeek-V2 的 MLA。原因也很简单：TurboQuant 更像“不改模型、极限压缩 runtime state”，而 MLA 则是“从 architecture 层把 KV cache 的体积先天做小”。前者像一把锋利扳手，后者更像重新设计了整个传动系统。

它已经部署到哪些产品、系统和现网里了

如果只看“现网产品”，KV cache 的产品化其实早就发生了，只是厂商常用的名字不叫 KV cache，而叫 prompt caching 或 context caching。OpenAI 的 API 文档写得很明确：Prompt Caching 会把最近处理过的相同 prompt prefix 路由到能命中缓存的服务器上，延迟最高可下降 80%，输入 token 成本最高可下降 90%，而且是默认自动工作的。Anthropic 的 Claude API 也把 prompt caching 做成正式能力，支持自动和显式断点，默认 TTL 为 5 分钟，也可扩展到 1 小时。Google Gemini 2.5 及更新模型默认开启 implicit caching，同时提供 explicit caching；Amazon Bedrock 也提供 prompt prefix checkpoint。严格说，这些产品文档避免直接暴露底层的 K/V 细节；但从系统角度看，可以把它们理解为“跨请求复用已经算过的前缀状态”，这与 KV cache reuse 明显处于同一条技术链上。

如果看开源 serving runtime，情况就更直接了。vLLM 的 PagedAttention 论文把 KV cache memory waste 与 prefix sharing 当成核心问题来解，它在相同延迟下把吞吐提升到基线的 2–4 倍；vLLM 的文档进一步把 automatic prefix caching 作为正式设计，甚至直接写到“这项优化已经被很多 public endpoints 使用”，并给出了基于 block hash 的实现；它还支持 FP8 KV cache，把更长上下文和更高吞吐作为核心收益来描述。

在 GPU 厂商栈上，NVIDIA 的 TensorRT-LLM 已经把 KV cache reuse、paged context attention 等变成了官方能力，默认就开启 block reuse；它的文档还明确说明，共享 prompt 越长，首 token 延迟收益越大。继续往上走到数据中心级别，NVIDIA Dynamo 又把 KV cache 扩展成多层级 offloading：可把有效 KV 容量从 GPU 扩到 CPU RAM、磁盘乃至网络存储，并与 KVBM、LMCache、FlexKV 等后端打通。

更有代表性的，是“prefill once, reuse everywhere”这一类系统。LMCache 公开文档写得非常直白：它让某段文本的 prefill 只做一次，此后在任意 serving instance 上都能复用，且不限于严格前缀，和 vLLM 结合时在多轮 QA、RAG 等场景里能带来 3–10 倍延迟收益。Ray Serve 也专门写了 KV cache offloading 的用户指南，把“把 cache 放到 CPU memory 或 local disk 以减少 GPU memory pressure、保留更久缓存命中机会”作为正式部署方案。

最后，SGLang 是把 KV cache reuse 做得最“像操作系统”的一类系统。它用 RadixAttention 把 prompt/result 状态放进 radix tree 中查找、共享和 LRU 驱逐；论文不仅给了算法，还给了生产观测：部署在 Chatbot Arena 的 open-weight 服务里，某些模型一个月内观测到了 52.4% 到 74.1% 的 cache hit rate。这说明 KV cache 不只是论文里能跑，而是真正在高频多轮问答、公共 endpoint、混合流量环境里持续工作。

KV Cache 会不会让 DRAM 需求塌掉

我的判断是：短期不会，长期也更像“重分配需求”，而不是“消灭需求”。 原因首先在于，KV cache 优化主要打的是推理侧的瞬时状态。TurboQuant 直指的是 KV bottleneck；NVIDIA Dynamo 和 Ray Serve 讨论的则是如何把这类状态从 GPU 扩展到 CPU RAM、磁盘等更便宜层级。也就是说，它真正先改变的，是加速器工作集、host offload 层以及推理系统的 memory hierarchy 结构，而不是一下把整个数据中心的 DRAM/NAND 需求删掉。

第二，效率提升通常会带来需求再膨胀。vLLM 对 FP8 KV cache 的官方表述是：更小的 cache 能让系统在同样内存里放更多 token，从而获得更长 context 和更高 throughput；KIVI 的论文则把“更大 batch size、更高 throughput”列为直接收益；OpenAI 的 Prompt Caching 文档也明确把“更低成本、更低延迟”当作大规模应用扩展的抓手。把这些放在一起看，更符合现实的推断是：单请求更省内存，往往不会自动换成“少买内存”，而更容易换成“跑更多请求、给更长上下文、堆更多 agent”。

第三，消费级 spot 市场确实可能因为渠道囤货、去库存、套利盘平仓而出现回落；TrendForce 4 月的两份 spot 更新就显示，DDR4 主流芯片 spot 均价一度小幅下滑，而且有 spot trader 为了锁定套利和回笼现金而出货。可与此同时，合约市场和服务器/企业级市场却仍在涨：TrendForce 3 月底预计 2Q26 conventional DRAM 合约价环比涨 58–63%，NAND 合约价涨 70–75%，原因正是供应商把产能继续往 HBM、server 与 enterprise SSD 倾斜。换句话说，“渠道里的消费条变便宜”与“服务器内存/企业级 SSD 继续涨”完全可以同时成立。

因此，把“TurboQuant 或更强的 KV cache 技术”直接翻译成“数据中心不需要 DRAM，所以内存条会大跌”，是明显过度简化。更准确的说法是：它们会降低同等上下文、同等并发、同等服务质量下的 cache 占用，进而改变 HBM、GPU memory、host DRAM 与外部存储之间的平衡；但在 2026 这个时间点，公开供需信号仍然是“AI 需求太强、供应链仍紧、厂商还在扩产”，并没有出现因为 KV cache 优化而导致的现实层面 memory oversupply。

DRAM 和 NAND 为何自 2025 年下半年起持续吃紧

这轮紧张的根源，不是一句话能说完，但主线其实非常清楚：AI 基建把 HBM、server DRAM、enterprise SSD 同时拉紧了，而供应侧又没有像过去周期那样激进扩产。 TrendForce 在 2025 年底就指出，2026 年的资本开支重点更偏向制程升级与 hybrid bonding，而不是大规模新增 bit 产能；Micron 在 2026 年 3 月的财报材料里则明确表示，AI 正把 data center DRAM 与 NAND 的 bit TAM 在 2026 年第一次推到全行业 TAM 的 50% 以上，而且无论 AI server 还是传统 server，需求都受制于 DRAM/NAND 供给不足。

这里最容易搞乱的一点，是“到底是谁把 2026 和 2027 的货全订走了”。可靠公开信息能确认的是：2025 年 10 月，SK hynix 对外表示它 2026 全年芯片产能都已售罄，并完成了主要客户的 HBM 供应谈判；Samsung 当时则表示，自己“显著扩大的”2026 HBM bit 产能，客户已经提前锁定；Micron 的官方口径更谨慎，它没有说“所有 DRAM/NAND/2027 都卖光了”，但它明确提到正在与客户签订多年的 strategic customer agreements，并把当下定义为“前所未有的供需缺口”。与此同时，TrendForce 在 2026 年 1 月又提到，云厂商已经开始把 2027 供应合同提前到一季度就拿出来谈。把这些合在一起，你会得到一个更接近事实的结论：HBM 和部分高端 memory 的确在被提前锁单，2027 也已开始预抢，但“全球三家把 2027 所有 DRAM/NAND 全部订空”这个说法，目前公开证据并不充分。

另一个经常被忽视的点是：这轮 shortage 不只是 AI training，而是 AI training + inference + storage 一起推的。Micron 在准备稿里把 AI 带来的 memory 需求直接解释成“更长上下文、更深 reasoning chains、更多 multi-agent orchestration”；Reuters 3 月又引述 Solidigm 高管指出，AI 对数据与存储的需求可能进一步拉紧 storage chip；到 4 月底，Reuters 再报道 Seagate 和 Western Digital 的产能也已经在 2026 年内“fully allocated”。这意味着，哪怕你用 KV cache 技术把一部分推理内存压下去，旁边的 enterprise SSD、日志存储、向量库、生成内容持久化也仍在把 NAND 继续往上顶。

至于 2027 年中左右会不会正常化，我觉得“部分环节开始稳”有可能，但“全面正常化”偏乐观。 公开报道里，一边是 Reuters 在 2025 年 12 月写到 SK hynix 预计 shortage 持续到 late 2027；另一边是 Reuters 在 2026 年 2 月援引 IDC 的判断，说即便 memory 价格到 mid-2027 开始稳定，低端智能机市场的经济性也已经被结构性改变。再看供给侧时间表：Micron 自己说 Idaho 新 DRAM 厂的初始 wafer output 是 2027 年中，新加坡 NAND 厂要到 2028 年下半年 才有初始 wafer output；SK hynix 新建设施也主要贡献在 2027 之后。综合这些时点，我们更愿意把 2027 年中 理解成“消费/渠道端可能最先看到边际缓和”的最早窗口，而不是服务器和企业级 memory 已全面恢复宽松的时间点。

涨价链条里的公司如何自保，普通公司和个人又该怎么看

大公司已经开始公开调整策略。Micron 在 2025 年 12 月宣布退出 Crucial 消费业务，理由就是要把供给优先让给更大的战略客户和更快增长的 AI/数据中心市场。Lenovo 则在 2026 年 2 月直接警告 memory shortage 会给 PC shipment 带来压力，并准备用涨价与转向 AI inference 维持利润。另一边，关于替代货源，公开报道称 HP、Dell、Acer 和 ASUS 都在评估中国 memory 作为应急方案；而 NIO 甚至公开说，最坏情况下 memory shortage 可能导致停产风险。你会发现，这些动作虽然看起来分散，但内核很一致：优先保大客户、保利润、高价抢货、开第二来源、把缺货风险转嫁到价格和交期上。

中小公司更难受，因为它们最缺的通常不是判断，而是现金流和议价权。公开报道显示，Phison 已经把对客户的付款要求改得更严格，并在和上游谈预付安排；它还准备通过 4–5 亿美元银团贷款来支撑库存和研发。至于坊间流传的“有 foundry 要求三年现金全额预付”，目前更稳妥的表述应该是：这是 Phison CEO 在公开采访中提到的上游极端信号，不宜直接外推成全行业统一条款；但它至少说明，在 NAND 极紧张时，拿货资格正越来越取决于资金实力。

普通公司和个人如果想参与这类“囤 memory、赌 shortage”的投机，最大的风险不是看错一个季度，而是看错品类和看错层级。今天真正紧的，是 HBM、server DDR5 的某些形态、enterprise SSD、以及若干 legacy density；而你在渠道里买到的大多数消费 DIMM、消费 SSD、甚至裸颗粒，跟大厂数据中心采购的 validated server memory / enterprise storage，并不是一个池子里的商品。再加上现货和合约经常背离——4 月的 DRAM spot 在跌，但 2Q26 合约价仍被预期大涨——单纯拿“消费条现价”去赌“服务器 shortage 继续”或者反过来，都很容易踩空。

对企业来说，更稳妥的做法通常不是“赌价格”，而是管风险：尽早锁长单、做第二来源验证、给 BOM 留出可切换空间、把高风险 memory 器件和交付承诺绑定在预付款或价格联动条款上。对做大模型系统的一方，优先级则应该是先把 prefix reuse、KV quantization、KV offloading 这些架构优化做掉，再决定是否要靠囤硬件去对抗供应周期。因为前者是在改善你系统对 memory 的“单位产出效率”，后者只是把资产负债表暴露在价格波动前面。

如果我们整体拉通来看，KV cache 不是一个小 optimization，而是大模型时代新的 memory hierarchy engineering：它把算法、runtime、网络存储、以及 DRAM/NAND/HBM 的供需格局绑在了一起。它当然重要，而且已经在实打实地落地；但 2026 年这轮 memory 紧缺，根本原因仍是 AI 基建扩张、HBM/server 优先级上升、厂商谨慎扩产、以及长周期锁单 的叠加，而不是某一篇 cache 论文瞬间改写了物理世界的供需。我的结论是：“2027 年中开始缓和”可以作为消费和渠道端的观察点；“服务器和企业级市场真正明显恢复宽松”，更有把握的窗口大概率还是 2027 年下半年到 2028 年。