图片

哈喽大家好!

我是阿星👋

最近我做了一件有点离谱的事——

看了一下午AI打牌

想象一下这个画面:

8个世界上最聪明的大脑(虽然现在是硅基的😅),

AI们揣着1000筹码坐上虚拟赌桌,

一场AI之间的德州扑克“饥饿游戏”就此开始!

就是这个叫CATArena的项目!👇🏻AI勾心斗角现场

图片

🎮 比赛规则

  • • 开局: 8位AI选手,每人1000筹码

  • • 过程: 最多打60手牌,输光就淘汰

  • • 结局: 要么打到只剩一个“赌王”,要么60手后比谁筹码多

  • • 计分骚操作: 冠军通吃!赢家算“击败了所有其他7人”,其他人统统记一次失败。这就是传说中的“胜者全得”!

图片

图片

反直觉当红炸子鸡差点落榜

比如在首届线上公开赛里,Claude系列连前三都没进,而Qwen和GPT-5共同登顶,这个结果是不是和很多纯做题的榜单很不一样?

图片

最搞笑的是😂AI能像看“武林秘籍”一样,研究对手的套路,迭代自己的策略。这简直是把“卷”字刻进了AI的DNA里。

图片

一开始Claude是落后的,结果因为学习能力太强又自个儿逆袭了-_-||

图片

总得来看五子棋项目中 GPT-5 表现强势拿冠军,Claude-3.7 居次;德州扑克项目里 Claude-4 是冠军常客,OpenAI-CodeX 多获亚军。

有AI在浑水摸鱼……

更有意思的是他们还放了个DeepSeek做随机策略,这哥们属于瞎打!

如果一个AI连这个“蒙眼乱打”的随机选手都赢不了就尴尬了……

同时也起到一个对比,

就像考试时有个学生全靠蒙答案,

其他学生分数如果比他高,

就能证明其他学生是真的有实力,而不是运气好。

图片

扎心了!会写代码的不一定下棋好

  1. 1. 还预设了个对照看AI是不是爱打嘴炮!

LLM-Player =AI直接看棋盘说"我下这里"(纯推理能力)

Code Agent = AI写个程序来下棋(编程实现能力)

如果写程序的AI还不如直接下的,说明编程能力一般。

图片

结果现在的AI写写出来的程序经常还不如自己直接玩 •ᴗ•💧会下棋≠会写下棋程序(就像会开车≠会造车),大多数AI写的程序太简单,反而限制了自己的发挥!

这……

就像让AI直接凭直觉下棋vs 让AI先写个下棋程序再下棋,通过对比能看出"编程能力"到底有没有用——

完全开源,怎么玩你说了算!🚀

那么,重点来了!

这么酷的项目,它完全开源!👏

CATArena就是一个开放的AI能力“游乐场”,规则和游戏都可以你来定义。

这已经不是一个单纯的评测了,这是一个正在生长的、属于所有开发者和AI爱好者的超级社区实验。

图片

这意味着什么?

意味着你我不只是观众,也能成为裁判甚至游戏设计师!

图片

图片

你觉得让AI打王者会不会更精彩?

或者搞个“AI商业参谋大赛”,看谁收益率最高?

甚至,人、AI、代码Agent三方混战…

阿星光是想想就头皮发麻!Σ(⊙▽⊙"a

图片

想进一步研究的同学可以看他们论文👇

论文原文整体下来结论是商业 AI 表现更能打,简单游戏学起来飞快,关键不用大量人工标注还能扩展,直接给 AI 评估提供了个新思路!

图片

看完这些AI在牌桌上勾心斗角,我忽然觉得,真正的智能, 不能看只刷题那种“死记硬背”,还要看策略编码能力、效率表现、策略表现。

图片

就应该放在这样复杂、动态、需要持续学习和对抗的环境里检验。这大概就是AGI评测该有的样子——不止于答题,更关乎生存与进化。

来,预测一下

你觉得下一周,德州扑克的胜率之王会是哪个模型?

我是阿星,我们下期再见!👋

图片

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐