为什么你的手机里藏着一颗“偏科”的芯片？——NPU 芯片科普

打开任何一款 2026 年旗舰手机的规格表，你几乎一定会看到一行字：“NPU 算力 XX TOPS”。AI PC 的广告也在反复强调同一个词。NPU 到底是什么？它和 CPU、GPU 有什么不同？为什么突然之间，每一颗芯片都在谈“NPU 算力”？

这篇文章试图用不太硬核的方式，把 NPU 这件事讲清楚。

一、一个“偏科生”的诞生

要理解 NPU，先要理解 CPU 的困境。

CPU 是计算机的“总指挥”，擅长逻辑判断、任务调度、分支预测——它像一个经验丰富的项目经理，什么活都能接，什么突发状况都能处理。但神经网络的计算本质极其“单调”：海量的矩阵乘法和卷积运算，一遍又一遍地重复，几乎没有“如果……那么……”这样的分支跳转。让 CPU 去做这种事，就像让项目经理亲自去流水线上拧螺丝——能干，但效率极低，功耗还高。

GPU 曾经是更好的答案。它拥有数千个简化核心，天然适合并行处理海量重复运算，这也是深度学习训练几乎离不开 GPU 的原因。但 GPU 的“通用并行”也意味着冗余：它仍然保留了大量的调度和缓存机制来应对图形渲染等多样化任务，对于端侧设备有限的功耗预算来说，这些开销并不划算。

NPU 的选择是：干脆放弃“什么都能干”的执念，只做神经网络需要的那一件事，并把那一件事做到极致。它的全称 Neural Processing Unit（神经网络处理单元），本质上是一个为矩阵运算和卷积运算量身定制的专用加速器。

二、NPU 内部在发生什么

NPU 最经典的架构叫脉动阵列（Systolic Array）。这个名字很形象：数据像心跳一样，有节奏地流过一整个二维的处理单元网格。权重从一侧流入，激活值从另一侧流入，中间结果在网格中逐级传递，不需要每一次计算都回到内存里取指令、取数据。

这带来两个直接后果。第一，延迟极低：数据在芯片内部的“传送带”上流水线式流动，等待时间被压缩到最小。第二，能效极高：省去了频繁的内存访问，而内存访问恰恰是传统架构中功耗的大头。NPU 还大量使用低精度算术——INT8、INT4 甚至更低——神经网络的推理对精度并不苛刻，用 8 位整数代替 32 位浮点，算力密度和能效都能成倍提升。

这些设计选择叠加在一起，让 NPU 在推理任务上获得了 CPU 和 GPU 难以企及的“每瓦性能”。

三、一张表看清 CPU、GPU、NPU 的分工

三者不是替代关系，而是分工关系。CPU 负责调度和控制，GPU 负责大规模的并行训练与通用加速，NPU 负责在低功耗约束下高效地执行推理。

	CPU	GPU	NPU
设计哲学	通用，什么都能干	通用并行，兼顾图形与计算	专用，只为神经网络
核心数量	少而强（几个到几十个）	多而简（数千个）	阵列化处理单元（成百上千）
擅长	逻辑判断、系统调度	矩阵运算、大规模并行训练	低功耗推理、端侧 AI
能效（AI 任务）	较低	中高，但功耗绝对值大	极高，单位功耗算力最大
典型位置	无处不在	数据中心、PC、训练集群	手机、PC、汽车、IoT

一个容易混淆的概念是 TPU。TPU 是 Google 为自家数据中心和 TensorFlow 生态定制的专用芯片，同样采用脉动阵列，但它面向的是云端的大规模训练和推理，功耗和形态与端侧 NPU 处于完全不同的量级。NPU 的关键词始终是“端侧”和“低功耗”。

四、NPU 正在用在哪里

手机与 PC。 这是 NPU 最可见的战场。微软对 Copilot+ PC 的定义线是 NPU 算力不低于 40 TOPS，2026 年主流旗舰芯片早已跨过这条线：高通骁龙 X2 Elite 的纯 NPU 算力达到 80 TOPS，苹果 M4 神经引擎约 38 TOPS，联发科天玑 9400 约 50 TOPS。这些算力足以在本地运行 7B 到 30B 参数的大模型，实时字幕、背景虚化、本地文生图不再需要把数据上传到云端。

汽车。 自动驾驶的决策窗口以毫秒计，把传感器数据传到云端再传回来，在物理上就来不及。NPU 在车端就地完成感知和推理，是 ADAS 和智能座舱的底层前提。车载 NPU 的算力跨度也很大，从低功耗视觉 ADAS 的几十 TOPS，到舱驾融合旗舰芯片的数百 TOPS。

更小的设备。 NPU 甚至已经进入了耳机。华为 2026 年发布的 FreeClip 2 是首款在耳机上内置 NPU 的产品，算力相比前代提升 10 倍。在 IoT 和可穿戴领域，毫瓦级功耗的微型 NPU 正在让离线语音唤醒、本地健康监测成为标配。

五、真正的瓶颈，其实不是算力

2026 年的 NPU 市场有一个值得玩味的现象：TOPS 数字越标越高，但用户的实际体验提升并没有同比放大。原因在于，大模型推理的瓶颈已经从“算力”转移到了“内存带宽”。

自回归生成每一个 token，都需要把模型权重从内存搬运到计算单元。如果搬运速度跟不上，再快的计算核心也只能空转等待。一台标称 50 TOPS 的笔记本，本地跑大模型可能只有 9.4 token/s，这不是芯片“虚标”，而是带宽受限的必然结果。业内有一个说法：同样是 100 TOPS 的 NPU，所需的外部带宽可以从几十 GB/s 一路跨到 1 TB/s，差距悬殊。

这也解释了为什么 2026 年 NPU 领域最受关注的技术演进，几乎都围绕着“让数据少搬一点”展开。

六、NPU 的下一步

存算一体。 传统架构中，计算和存储是分离的，数据要在两者之间来回搬运。存算一体（CIM）直接把计算单元嵌入存储阵列内部，在数据所在的位置完成运算，“不用搬”。后摩智能 M50 芯片采用 SRAM 存算一体架构，在 10W 功耗下实现了 160 TOPS 的 INT8 算力，能流畅运行 30B 至 120B 参数的大模型。在 WAIC 2026 上，存算一体已经不再是实验室概念，而是流片、甚至量产的技术路线。

3D 堆叠。 如果存算一体解决的是“不用搬”，3D 堆叠解决的是“搬得快”。把 DRAM 直接堆叠在 NPU 上方，用极短的垂直互连替代漫长的外部走线，带宽可以跃升一个数量级。瑞芯微 RK1828 宣称是业内首颗量产的 3D 堆叠端侧芯片，理论带宽约 1 TB/s，3B 模型的推理速度超过 100 token/s，而传统方案只有十几 token/s。

异构集成与芯粒。 NPU 正在从 SoC 内部的一个模块，走向独立芯片和芯粒形态。通过 Chiplet 和 UCIe 接口，可以把不同工艺的 NPU 芯粒与 CPU 芯粒组合在一起，在不依赖单一先进制程的前提下扩展算力。端侧协处理器——不跑操作系统、只做 AI 加速的“外挂 NPU”——也在 2026 年成为一条活跃的产品路线，用户可以在不推翻原有系统的前提下，通过 PCIe 或 M.2 接口平滑升级算力。

写在最后

NPU 的故事，本质上是计算架构从“通用”走向“专用”的一个缩影。CPU 让计算机什么都能做，GPU 让大规模并行成为可能，NPU 则把神经网络的计算效率推到了专用硬件的极限。

但它也提醒我们一件事：一颗芯片的价值，从来不只取决于规格表上那个最大的数字。当算力越过某个门槛之后，内存带宽、软件生态、场景适配，才是决定它到底“好不好用”的东西。下一次看到“XX TOPS”的时候，不妨多问一句：它的数据，搬得动吗？