美团开源560B参数Longcat-Flash-Chat大模型,采用"零计算专家"与Shortcut-connected MoE架构,在Agent工具调用等任务上超越DeepSeek-V3.1和Claude4 Sonnet。通过动态激活参数、优化通信效率,实现更高吞吐。美团自2023年通过GN06团队布局大模型,应用于编程、会议等场景,体现"零售+科技"战略,研发投入211亿,AI已成为核心发展方向。


没想到啊,最新SOTA的开源大模型……

来自一个送外卖*(Waimai)*的——有两个AI,确实不一样。

这个最新开源模型叫:Longcat-Flash-Chat,美团第一个开源大模型,发布即开源,已经在海内外的技术圈子里火爆热议了。

一方面是因为成绩亮眼:

它在部分benchmark上,比如Agent工具调用、指令遵循的表现超过DeepSeek-V3.1、Qwen3 MoE-2507,甚至比闭源的Claude4 Sonnet还要好。

编程能力也值得关注,在TerminalBench上,和公认的“编程之王”Claude4 Sonnet不相上下。

比如非常流行的小球氛围编程测试,LongCat编写的程序,运行起来效果是这样的:

另一方面是技术报告中透露出不少美团对于大模型的理解,包括DSMoE、MLA、动态计算、Infra等等。

我觉得这是中国大模型里最讲得详细的论文了,甚至超过Kimi、GLM,特别是在建模和infra方面。

要知道,这可是一家“外卖公司”啊(手动狗头),做的模型都比Meta好了。

而且不光是模型性能好,技术报告里还介绍了一系列新发现,比如:

  • 采用新路由架构,调用真正需要的专家模型,使计算更少;
  • 通过将MoE和密集层的通信重叠执行,优化模型通信效率;
  • 使用新方法来迁移超参数而不是muP
  • ……

以及无论是在总参数量还是激活参数上,Longcat-Flash-Chat都比DeepSeek-V3.1和Kimi-K2更少。

具体来看——

“零计算专家”让吞吐大幅提升

此次开源的Longcat-Flash-Chat是一个560B的MoE模型,整体架构采用“零计算专家”(Zero-computation Experts)与Shortcut-connected MoE双重设计。

它通过根据上下文重要性为每个token动态激活18.6B–31.3B参数,并让前一块密集FFN与当前MoE的通信阶段并行执行,大幅提升训练与推理吞吐。

相比于同为MoE架构的DeepSeek-V3.1(671B/A37B)和Kimi-K2(1T/A32B),Longcat-Flash-Chat都拥有相对更少的总参数量和激活参数量。

零计算专家是在专家池中加入的若干恒等专家,路由器为每个token从N+Z个专家中选取K个,被选中的零计算专家直接恒等映射输入,完全不做GEMM运算,实现动态计算分配。

为保持约27B激活参数,系统通过专家偏置+PID控制器在线调节路由概率,并引入设备级负载均衡损失对FFN与零计算专家进行分组约束,避免序列级失衡。

Shortcut-connected MoE通过跨层快捷连接重排执行流水线,使上一层FFN计算与当前层dispatch/combine通信并行,显著扩大计算-通信重叠窗口。

规模化训练过程中,LongCat采用了“超参数迁移+模型生长初始化+多重稳定性套件+确定性计算”的策略组合,即先用小模型预测最优超参数,再将14层模型堆叠成28层checkpoint加速收敛。

能力塑造方面,模型先在两阶段融合的20T token语料上完成预训练,中期强化推理与编码并将上下文窗口扩展至128k,最终借助多Agent合成框架生成高难度工具使用任务进行后训练,使模型具备复杂agentic行为。

推理阶段,为彻底消除CPU调度与Kernel启动瓶颈,团队实现多步重叠调度器,一次性为未来n步预排并启动前向,使CPU调度与GPU计算交错,配合其他技术,使得LongCat在560B级别模型上实现吞吐的大幅提升。

最终,LongCat-Flash在多类权威基准中处于第一梯队,在非思考大模型中与DeepSeek-V3.1等模型相当甚至更优。

性能上,与DeepSeek-V3等同级模型比较,LongCat-Flash在不同上下文长度下都实现了更高的单GPU吞吐和单用户速度。

560B参数的LongCat-Flash在上万个加速卡上完成超过20Ttoken预训练仅用30天,训练期间可用率98.48%,单张H800GPU生成速度超过100 tokens/s,成本约0.7美元/百万输出token。

实测美团LongCat大模型

那么接下来,就来看看LongCat的真实表现,我们跳过简单的基础问答,直接上数学题。

这道题出自今年的全国一卷。这里题目是以文本形式输入给模型的,且公式转换成了LaTeX格式。

先看结果,LongCat的最终答案全部正确:

接下来检查一下具体过程。

第一问在圆锥曲线类问题当中比较基础,简单结合已知信息,利用离心率的定义式然后代换数量关系就能解出,LongCat也做对了。

第二问的第一小问,LongCat根据R所在射线AP的方向向量,结合新设的未知变量表达了AP和AR的模,然后代入已知条件求解未知变量,最终成功解决。

第二小问中,LongCat先结合了上一问的结果以及新条件,通过计算得到了一个关键的中间结论——点P位于一个圆心和半径均已确定的圆上。

如果想象不到,这里有一个简单图示。

利用该结论,LongCat对最大距离进行了拆解,并通过代入等方法,最终计算出了正确结果。

接下来是一项综合能力测试,绘制生物学当中光合作用当中卡尔文循环的SVG示意图,SVG是一种用代码表示的矢量图形。

在这样的任务中,模型不仅需要对所绘制内容的背景知识有足够了解,还要有足够的空间想象力对内容进行布局,最后还需要写成代码,这样的任务是一个非常复杂的链条。

言归正传,我们对LongCat给出的SVG代码进行了可视化,总的来说,LongCat比较顺利地完成了图示的绘制。

最后是一道迷惑性问题,题目出自GitHub上一个名为Misguided Attention的Benchmark。

其中包含了很多经典谜题……的改编版本,考验的就是大模型能不能做到不被表象迷惑。

比如物理学当中的名场面——薛定谔的猫,在这套基准当中,这只猫的“猫设”被改成了一只死去的猫。

一只死猫与核同位素、一瓶毒药和辐射探测器一起放入盒子中。如果辐射探测器检测到辐射,它将释放毒药。一天后,盒子打开。猫还活着吗?

结果,LongCat直接识破陷阱,明确指出既然是死猫那就没有存活的可能性,并且还指出了这道题与原版“薛定谔的猫”的关键区别。

而o3就没有认真读题,还是按照传统的薛定谔的猫那一套进行的回答。

“外卖公司”怎么在做大模型?

这次引发海外热议的还有一个原因在于美团给他们带来的反差感

很多人简单粗暴把美团理解为一家外卖公司。尽管他们之前之前有无人送餐积累下来的了动驾驶、机器学习的基础,但是大模型完全是另一条技术线了,所以这次开源更会让人觉得是“横空出世”。

不过梳理美团在大模型浪潮后的AI动向,这次模型开源也就不那么意外了。

2023年,王慧文振臂一呼自带5000万美元成立光年之外,并招揽一众AI领域顶级人才团队加盟。后续由于王慧文个人健康原因,好兄弟王兴兜底,美团于是接手光年之外,现有团队将继续研发大模型。

同年,由美团内部独立AI团队GN06开发的AI情感陪伴产品Wow上线,这也是美团发布的第一个独立AI应用。

2024年4月,病休的王慧文以顾问身份回归美团,11月正式领导GN06团队。

GN06在美团的定位是一个相对独立的AI团队、不隶属于任何事业群,专注于探索主营业务之外的创新AI应用。

2024年他们还推出了一个AI图像生成应用“妙刷”。

在2024年6月,GN06的招聘需求明显增加,范围覆盖前端、客户端、后端、产品、运营、商分等。

2024财年业绩发布会上,美团还正式明确了“主动进攻”的AI策略。

美团CEO王兴首次阐述了公司的AI战略布局,主要通过三层架构推动技术落地:

  • AI at Work:目标是利用AI工具提升超过10万名员工的工作效率。
  • AI in Products:旨在用AI改造现有产品并创建原生AI应用。
  • Building LLM:持续投入资源自研大模型。

当时就已经提到了Longcat大模型,透露该模型结合外部模型为员工推出了多种AI工具,包括AI编程、智能会议、文档助手等,并透露了LongCat API的调用量占比从上一年年初的10%增长到68%。从这个信息推断,Longcat在至少在2024年初就已经可以落地应用。

另外在研发投入上,2024年美团投入211亿搞研发,规模仅次于华为、腾讯和阿里巴巴。过去5年研发投入突破1000亿元。

产品结合方面,美团测试推出了问小袋、米鲁等AI智能助手,用于餐饮推荐、问答交互等。

在这种战略下,2025年美团在AI方向的动作更加明显起来。

比如前段时间还推出了AI编程应用NoCode,支持前段开发、数据分析、运营工具和门户网站生成等,技术小白也能用;同时内部也有CatPaw对标Cursor,辅助开发者写代码。

总体来看,以美团的研发储备,开源一个大语言模型并不意外。

不过也不同于AI公司,美团的AI布局更多以业务场景驱动为核心,注重在实际应用中的落地效果。

这种策略可以追溯到2021年、大模型浪潮之前,美团集团战略从“Food+Platform”升级为“零售+科技”,明确将AI、机器人、自动驾驶等作为未来核心方向。

比如在更加早期的具身智能领域,美团已多次出手,投资了宇树、星海图、银河通用、它石智航等头部梯队公司。

你用来拼好饭的美团,确实不是单纯送外卖的美团。

虽然外卖大战依然火热,但用AI的视角审视美团,也是时候了。

试用地址:https://longcat.chat
huggingface:https://huggingface.co/meituan-longcat/LongCat-Flash-Chat
github:https://github.com/meituan-longcat/LongCat-Flash-Chat
x/twitter:https://x.com/Meituan_LongCat/status/1961827385667690965

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
在这里插入图片描述

在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型实战项目&项目源码👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战项目来学习。(全套教程文末领取哈)
在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)
在这里插入图片描述

为什么分享这些资料?

只要你是真心想学AI大模型,我这份资料就可以无偿分享给你学习,我国在这方面的相关人才比较紧缺,大模型行业确实也需要更多的有志之士加入进来,我也真心希望帮助大家学好这门技术,如果日后有什么学习上的问题,欢迎找我交流,有技术上面的问题,我是很愿意去帮助大家的!

这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理,鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位,在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利,同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

在这里插入图片描述
在这里插入图片描述

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐