玄戒 O100 首秀 + 端侧模型 MiMo：小米的端侧 AI 棋局

8 月 24 日的玄戒芯片技术沟通会上，小米一次性发布了三颗芯片：玄戒 O3、玄戒 O100、玄戒 D100，外加两台原型机（来源：IT 之家、每日经济新闻等公开报道）。媒体焦点多数落在跑分 522 万的 O3 上，但真正值得开发者静下心来细看的，是那颗专为端侧大模型设计的 O100，以及它背后的技术逻辑——近存计算、晶圆级堆叠、高带宽。

这篇文章不打算复述发布会。想聊清楚三件事：O100 在小米芯片矩阵里站什么位置、端侧模型 MiMo 凭什么能在手机上跑起来、以及这套东西对普通开发者意味着什么。末尾再给一段可以在自己电脑上验证"端侧推理"概念的实操流程。

两天两款芯片：玄戒的产品矩阵逻辑

先看清棋盘。加上 2025 年 5 月量产的玄戒 O1，小米现在有三条芯片产品线，各司其职：

芯片	定位	关键规格（公开数据）	状态
玄戒 O1	旗舰手机 SoC	第二代 3nm、190 亿晶体管、10 核 4 丛集 CPU、16 核 GPU、6 核 NPU（44 TOPS）	已量产，小米 15S Pro 首发
玄戒 O3	AI 旗舰 SoC	安兔兔 522 万、十核全大核 CPU（多核破 1.5 万）、G2-Ultra NX GPU（性能 +85%、功耗 -64%）	已量产，小米 18 Fold 首发
玄戒 O100	端侧大模型 AI 加速芯片	行业首款 6nm 晶圆级垂直堆叠（Wafer-on-Wafer）封装、Hybrid Bonding、1.4 微米键合间距、1.22TB/s 带宽	研发完成，明年（2027）商用
玄戒 D100	智驾高算力 AI 芯片	3nm、20 核 CPU + 16 核 NPU、最高 160GB 统一内存、可本地部署 200B 参数模型	研发完成，明年商用

注意 O3 和 O100 的分工。O3 是"什么都干"的旗舰 SoC，AI 只是它的能力之一；O100 是"只干 AI"的专用加速器，连影像模块都可以砍掉。这有点像显卡之于 CPU 的思路——通用芯片的性能增长追不上模型规模的膨胀，那就加一块专用芯片专啃推理。小米高管朱丹在沟通会上点明了动机：算力在涨、模型在涨，但内存带宽的增速远远滞后，这是个结构性瓶颈（来源：每日经济新闻报道）。

O100 的硬核：Wafer-on-Wafer 与 1.22TB/s 带宽

O100 最值得讲的是封装工艺。它用的是晶圆级垂直堆叠（Wafer-on-Wafer，简称 WoW）——把两片晶圆直接面对面键合，而不是传统的把单独芯片封装在一起。键合间距做到 1.4 微米，采用 Hybrid Bonding 混合键合工艺，带宽冲到 1.22TB/s，官方口径是传统旗舰手机的 16 倍（来源：公开报道）。

这套工艺解决的是端侧大模型最棘手的问题：内存墙。模型跑本地时，每生成一个 token，都得把全部权重从内存搬进计算单元过一遍。参数规模不变的情况下，推理速度大致正比于带宽。1.22TB/s 意味着跑 7B 量级模型时，理论吞吐能到每秒几百 token——原型机上 MiMo 的实测数据是每秒 295 tokens（来源：小米官方、公开报道），就是这个方向性的验证。

顺带一提，近存/高带宽计算这个方向不是小米独家的判断。有博主爆料近存计算高带宽存储方案已送样多家厂商（来源：博主@定焦数码，未获官方证实，此处仅作行业动向参考，不作为事实引用）。

AI Cube：三芯协同的工程样板

沟通会上的两台原型机，比芯片本身更能说明问题。O100 原型机是"玄戒 O3 + O100"双芯协同，去掉影像模块、重做主板、加主动风冷，散热功率最高 10 瓦——它验证的是"手机形态下，通用 SoC 干杂活、AI 加速芯片干重活"的协同模型（来源：公开报道）。

另一台 AI Cube 原型机更激进：玄戒 O3 + O100 + D100 三芯塞进一台迷你主机，配 80GB 统一内存，同时部署一个 120B 参数的大模型和一个 3B 端侧模型，支持"快慢系统"切换（来源：公开报道）。现场演示了本地生成小程序，3-5 分钟出一个（来源：每日经济新闻报道）。这个形态对应的使用场景很明确：开发者的个人 AI 工作站——不用租云 GPU，本地跑得动 120B 模型，数据不出门。

三芯协同的思路值得开发者关注：不是"一颗芯片解决所有问题"，而是按负载类型分工。O3 管交互和常规计算，O100 管大模型推理，D100 的 160GB 统一内存和 200B 支持能力瞄准的是更大的端侧模型负载。这个架构未来会不会下放到手机、平板甚至汽车，是比发布会更有想象空间的问题。

端侧模型 MiMo 解读：本地跑大模型的三道技术门槛

说芯片离不开模型。端侧模型 MiMo 是小米自研的本地部署模型，但"能在手机上跑大模型"这件事，背后其实是三道技术门槛：

量化。模型参数默认用 16 位浮点存，3B 模型就要 6GB 内存，手机扛不住。量化（比如 int4）把每个参数压到 4 位，模型体积缩到 1/4，3B 模型变 1.8GB 左右，牺牲一点精度换"装得下"。这是所有端侧模型的必修课。

蒸馏。7B、14B 这类大模型直接量化完还是太大。蒸馏的思路是让大模型当老师，把能力"教"给小模型——小模型模仿大模型的输出分布，在特定任务上接近大模型的表现，但体积小一个数量级。MiMo 这类端侧模型基本走的就是"大模型蒸馏出小模型 + 量化压缩"的路线。

内存带宽。这是最容易被忽略的一道门槛。量化解决"装得下"，带宽决定"跑多快"。前面说过，每生成一个 token 都要把权重全量扫一遍：3B 模型 int4 量化后约 1.8GB，如果你的设备带宽只有 25GB/s，理论吞吐上限就 10-15 token/s，交互体验会很难受。O100 用 1.22TB/s 带宽解这道题，原理上就是把"扫权重"这个动作的时间压到一个可接受的范围。

三道门槛合起来才是"端侧 AI 能打"的完整条件：模型够小（量化+蒸馏）、芯片够快（算力+带宽）、软件够省（推理框架优化）。缺一个，体验就崩塌。

把三道门槛串起来看，端侧模型的技术路线已经相当清晰：蒸馏定上限（模型能力的天花板），量化定体积（装不装得下），带宽定速度（跑得快不快）。芯片公司选哪条路发力，基本决定了下一代端侧体验能到什么水平——这也是 O100 这类高带宽专用芯片出现的根本原因。

本地演示：Ollama 跑通端侧推理的最小验证

不依赖小米的硬件，任何普通电脑都能体验"端侧推理"的概念。用 Ollama 拉一个小模型跑起来，感受一下"本地推理"和"云端调用"的差别：

# 步骤 1：安装 Ollama（macOS / Linux / Windows 均可）后拉取一个小模型
ollama pull qwen2.5:1.5b

# 预期输出：拉取进度条 + "success" 提示，模型约 1GB（q4 量化）
# 【此处需补真实截图：ollama pull 完成后的终端输出】

# 步骤 2：本地跑一次推理
ollama run qwen2.5:1.5b "用一句话解释什么叫端侧推理"

# 预期输出：模型返回一句约 20-50 字的解释，结尾带速度统计
# 示例：eval rate: 42.5 tokens/s  ← 具体数值取决于你的机器带宽
# 【此处需补真实截图：ollama run 的完整输出，含生成速度统计】

跑完之后可以做个简单换算验证带宽逻辑：qwen2.5:1.5b 量化后约 1GB，如果实测速度是 40 token/s，说明你的设备每生成一个 token 大约搬移 1GB/40 ≈ 25MB 的权重数据。带宽越高的机器，这个数字越快——这就是 O100 用 1.22TB/s 带宽把手机端推理推到每秒几百 token 的物理基础。

端侧 AI 对开发者意味着什么

说点实在的。端侧 AI 对开发者的意义，集中在三个变化上。

一是延迟可控。本地推理省掉了网络往返，首 token 延迟从几百毫秒级别直接掉到几十毫秒，这对实时交互类应用（语音助手、代码补全）是质的差别。二是隐私和数据主权。代码、文档、医疗数据不用出设备，企业用户尤其吃这一套。三是成本结构变化。推理成本从"按 token 计费"变成"一次性硬件投入"，对高频调用场景长期更划算。

但它也有明确的天花板。内存和功耗的物理限制摆在那里，手机本地跑 120B 模型短期内不现实；小模型的推理质量与大模型仍有差距，复杂任务还得回云端。所以更现实的判断是：端侧和云端会长期共存，端侧吃“低延迟、高隐私、高频简单”的负载，云端吃“高质量、复杂推理”的负载。开发者在设计架构时，把负载切分做对，比纠结用哪家的模型重要得多。

落到行动上，给开发者三条可执行的建议。一是先跑通最小验证：用 Ollama 这类工具在本地把 1.5B-7B 模型跑起来，用真实任务测量延迟和吞吐，建立“本地推理”的体感基线——没有这个基线，讨论端侧 AI 全是空谈。二是画负载切分图：把应用里“高频、简单、低延迟”的推理留在端侧，“低频、复杂、高精度”的上云，这张图应该在写架构文档之前就画好。三是跟踪芯片生态：O100 这类专用加速芯片明年商用后，推理框架（llama.cpp、MLX、Ollama 等）对它的适配进度，将直接决定端侧 AI 的开发门槛——框架适配越早，开发者的窗口期越长。方向比细节重要，现在是储备认知的阶段，不是下注产品的阶段。

回到开头的问题：O100 和 MiMo 能不能打？从原型机数据看，方向是对的——高带宽是端侧推理的真瓶颈，小米在正确的问题上下注。但芯片明年才商用，生态、工具链、开发者配套都还是空白。对开发者来说，现在是研究技术形态的好时机，不是押注产品的时机。