本文探讨了百万上下文大模型处理长文本的需求，指出传统Transformer架构在显存和计算上的瓶颈。介绍了SALA混合注意力架构，该架构通过线性注意力和稀疏注意力的结合，有效处理长文本，减少计算量和显存占用。文章还介绍了HALO训练范式，降低了新架构的训练成本。实验数据显示，MiniCPM-SALA在推理速度和显存占用上优于同等规模的全注意力模型，且在数学、代码、知识问答等能力上没有明显性能折损。

---

我有点好奇一个问题，

让现阶段一个百万上下文的大模型读一本百万字的小说，需要推理吗？

可能大部分时候不需要，它需要的只是记住，记住第一章的主角在最后一章说了什么。

现在传统的Transformer架构只有一种处理方式，全靠硬算。它像一个过于认真的前排学霸，为了记住最后一章的内容，把前面九十九万字的内容跟每一个新生成的字都做一次对比计算。

这样会占大量的显存，计算量也会平方级增长。

这一周新的大模型也是不停刷新，MiniMax M2.5，GLM5，Gemini 3.1 Pro Preview，DeepSeek新版本（疑似V4），我都希望他们可以接入我的OpenClaw里面，做一个长对话长记忆的模型。

昨天，面壁还发了一篇新论文，提出了一个叫SALA（Sparse Attention-Linear Attention）的混合注意力架构。它给出了一个新观点，

该快的地方就得快，该准的地方必须准。

https://github.com/OpenBMB/MiniCPM/blob/main/docs/MiniCPM_SALA.pdf

在他们的SALA架构里，

一部分模块专门负责快，

另一部分模块专门负责准。

结果就是，基于SALA架构的模型，在端侧显卡上，第一次把百万的长文本推理，稳稳跑通了。

我们来看一个具体的例子，

模型在处理百万字小说时，内部发生了什么。

每生成一个新词，模型都要把它和前面所有词语的键值对，也就是KV Cache，全部计算一遍。计算复杂度是随着文本长度平方级增长的，

同时，这个KV Cache会像滚雪球一样，迅速吃掉你所有的显存。把上下文从一万字拉到一百万字，计算量不是涨一百倍，是飙升一万倍。

这就是为什么传统架构在长上下文任务面前，会同时撞上计算墙和显存墙。

这几十万字的上下文，大部分可能只是背景描述，真正关键的信息也许就那么几句。

但模型为了找到这几句关键信息，付出的代价是把所有内容都用最高精度过了一遍。

来看看SALA的几个关键的设计，

首先是两种模块的分工。

线性注意力，我们这里可以理解为负责准的模块，面壁选用的是Lightning Attention，挑出那些最关键的局部信息进行精细计算。稀疏注意力，则是负责快的模块，面壁选用的是InfLLM v2，会高效计算所有信息。

SALA就是把这两者结合了起来。整个模型里，75%的层是负责准的线性注意力，剩下的25%，是负责快的稀疏注意力。这个比例经过大量实验找出的效率与精度之间的平衡点。

在不使用任何额外技术（如YaRN）的前提下，MiniCPM-SALA 可以将上下文长度拓展至2048K。

怎么保证它们能好好合作，不是互相干扰呢？

SALA用了一个叫HyPE的混合位置编码策略。在线性层，它保留了RoPE，保证短文本能力不受影响。在稀疏层，它去掉了位置编码，避免了信息在长距离传递时的衰减问题。

模型在检索几万甚至几十万token之前的内容时，依然能保持高精度。

最后是模型怎么来的。

这里有一个核心问题，要训练一个全新的混合架构模型，成本超级高。

面壁没有从零开始，反而是提出了一个叫HALO的训练范式。简单来说，就是拿一个已经训练好的全注意力模型，比如MiniCPM-4.0，通过架构转换，把它的一部分层变成线性注意力，另一部分变成稀疏注意力，然后进行持续训练。

这种方式，就像是给一辆性能不错的汽车做改装升级，而不是重新设计一辆新车。它继承了原模型已经学到的所有知识和能力，只是让它学会了用一种更高效的方式去工作。相比从头训练，这个方法的成本直接降低了大约75%。

这个训练过程也很有讲究，分为架构转换，稳定训练，短衰减，长衰减和微调五个阶段。特别是在长衰减阶段，模型逐步把上下文长度从4K扩展到520K，让模型充分学习两种注意力机制协同。

我们来看效果数据。

这次面壁并没有用一堆榜单来证明自己，是出了真实场景下的性能数据，对比的是同等规模的全注意力模型Qwen3-8B，我挑几个关键数据，

在推理速度上，当上下文长度达到256K时，MiniCPM-SALA的速度是Qwen3-8B的3.5倍。

这个提升完全来自架构本身的优势。

在显存占用上，在RTX 5090这样的消费级显卡上，Qwen3-8B在上下文长度达到128K时，就会因为显存不足而崩溃。而MiniCPM-SALA可以稳稳地跑到1M，也就是一百万token的长度。

但我是个挑剔的人，

用了会丢信息的注意力，模型是不是没脑子了？

这也是这篇工作最有价值的部分。实验数据显示，MiniCPM-SALA在数学，代码，知识问答这些常规能力上，和同规模的全注意力模型基本持平，没有出现明显的性能折损。

传统的全注意力模型，在处理长文本时，它的注意力容量被大量消耗在维持局部依赖上，比如识别一个多词组成的人名。而SALA架构，把这些任务交给了更高效的模块，从而释放了稀疏注意力层的容量，让它们可以更专注于建立全局的，跨越超长距离的上下文联系。

为了推动这个架构落地，面壁联合了SGLang和NVIDIA，发起了一个稀疏算子加速大奖赛SOAR。

SALA虽然在架构上做好了，

但底层的计算算子，相比已经被优化到极致的FlashAttention，还有很大提升空间。

这个比赛就是邀请全球的开发者，一起来把SALA这台新引擎的性能，压榨到极限。

平时测评模型测多了，

都是Coding，Coding，Coding，

我很高兴看到还不断能有新的架构，

新的算法出现，

就算是DeepSeek这一年，

更新模型的同时也没停过公开自己的算法，

面壁过去这一年也是不停发端侧模型的工作，

我觉得就这速度都不需要五年十年，

可能过个两三年，

在小天才手表上也能跑个大大大模型。

​最后

我在一线科技企业深耕十二载，见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​