Dr.Zero是由Meta和伊利诺伊大学联合开源的AI智能体模型,创新性地实现了零数据训练下的自主进化。其核心设计包括提议者-求解器互促框架、HRPO算法和难度引导机制,显著降低了计算成本。测试显示,Dr.Zero在多个数据集上表现优异,平均性能比传统监督模型提升14.1%,甚至在复杂问答任务中实现反超,为AI领域突破数据依赖提供了新思路。

Meta超级智能实验室和伊利诺伊大学的研究人员联合开源了一个重磅AI智能体模型Dr.Zero。

Dr.Zero可以让搜索智能体在完全没有训练数据的情况下实现了自主进化,而且性能一点不输给那些靠大量人工标注数据训练的模型,甚至在不少复杂问答测试里还反超了,最高能提升14.1%的性能。

直接打破了AI训练对人工数据的依赖,以后在没什么数据的场景里也能轻松搞智能体开发了。

开源地址:https://github.com/facebookresearch/drzero

论文地址:https://arxiv.org/pdf/2601.07055

现在搞AI最头疼的就是数据问题。高质量的数据越来越难搞,要么得花大价钱请人标注,要么就是根本找不到合适的。

传统的搜索智能体训练更是离不开人工整理的问题集、上下文或者标准答案,不仅费钱费力,面对开放域里那些复杂的推理需求,还经常力不从心。

虽然之前也有自进化的智能体,能自己提问题、找答案、学经验,但大多只适用于数学这种特定领域。

在这些领域里,问题定义得比较窄,就算数据多样性不够,也能有点提升。可一到开放域问答就歇菜了,要么还是得靠人工设计问题,要么就得要大量上下文和标注,根本算不上真正的自主进化。

还有个计算效率的坑。以前用的GRPO算法,训练的时候得搞嵌套采样,一个问题要生成好几个查询,每个查询又要多个响应,计算量直接爆炸。

再加上多轮推理的高延迟,想用来训练需要复杂工具交互的自进化代理,基本不现实。

而Dr.Zero主要靠三个核心设计,彻底解决了之前的难题。整个框架就靠外部搜索引擎当知识来源,一开始用同一个基础大模型,分别造出提议者和求解器,然后让它们俩互相促进内卷,一起进步。

提议者和求解器:这是整个框架的核心,就像一个老师和一个学生,只不过老师和学生是同一个起点,还能一起成长。

提议者的活是生成各种有挑战性还能验证的问答对,它不像传统模型那样只会造简单问题,而是有个多轮工具使用的流程,能生成复杂的多跳问题。

求解器就负责解决提议者出的题,一边做题一边提升自己的搜索和推理能力。它也能调用搜索引擎,思考的时候先在心里过一遍逻辑,要是发现自己不懂,就精准搜一下,补全知识缺口,直到能给出明确答案。

它的目标就是把题做对,随着提议者出的题越来越难,求解器也得不断优化自己的搜索和推理方法,不然就跟不上了。

它们俩的优化是交替进行的:提议者先出一批题,求解器做完之后,把结果反馈给提议者,提议者根据反馈优化自己的出题思路;而提议者出的这些高质量题目,又成了求解器的训练素材,让求解器继续提升。

为了解决之前GRPO算法计算量大的问题,Dr.Zero搞了个HRPO算法,也就是跳数分组相对策略优化。简单说就是把结构相似的问题归为一类,一起计算,不用再一个个单独处理,大大降低了计算成本。

这里的跳数就是推理链的节点数,单跳问题就像小学应用题,一步就能算出答案;多跳问题就像复杂的综合题,得好几步推理加搜索才能解决。

HRPO把相同跳数的问题分到一组,然后在组内对求解器的奖励分数进行标准化,这样就能算出更稳定的优势估计,不用再搞嵌套采样。

为了让提议者别出太简单或太离谱的题,Dr.Zero设计了一个难度引导的奖励机制。核心就是看求解器的答题通过率:要是求解器全做对了,说明题太简单,提议者拿不到多少奖励;要是全做错了,说明题太难,也没奖励。

只有当求解器部分做对、部分做错,说明题难度适中、有挑战性,提议者才能拿到高分。

这样一来,提议者就会主动去出那些刚好在求解器能力边缘的题,既保证能验证答案,又能推着求解器不断进步。

再加上之前说的格式奖励,就能确保提议者生成的题不仅有挑战性,格式还规范,求解器能顺利解析,不会因为格式问题卡壳。

为了测试Dr.Zero的性能,研究人员使用了Qwen2.5-3B和7B两个版本进行测试,不管哪个版本,Dr.Zero的表现都很能打。

先看3B版本,平均EM得分0.326,比所有少样本基线模型都高得多,比简单提示的模型高了192%,比IRCoT高80%,比Search-o1高28%,比RAG高85%。

和监督基线模型比也不落下风,比SFT高75%,比R1-Instruct高45%,和最强的监督基线Search-R1几乎打平,就差0.001。

单跳数据集上表现更猛:NQ数据集得分0.397,比Search-R1高22.9%;TriviaQA数据集得分0.572,高6.5%;PopQA数据集得分0.431,高18.4%。多跳数据集上也大幅领先少样本基线,接近甚至超过部分监督基线。

7B版本更厉害,平均EM得分0.372,进一步拉开了和少样本基线的差距。和监督基线比,多个数据集实现反超:TriviaQA数据集得分0.608,比Search-R1高0.3%;

2WikiMQA数据集得分0.347,高6.4%。多跳数据集上平均性能达到了Search-R1的90%以上,尤其是2WikiMQA上的反超,充分证明了它在复杂推理任务上的实力。

和现有的零数据模型SQLM、R-Zero比,Dr.Zero也是全方位领先。为了公平起见,研究团队还给这两个基线模型加了多轮推理和搜索能力。

就算这样,Dr.Zero的平均得分还是比SQLM高39.9%,比R-Zero高27.3%。单跳数据集上,每个指标都领先;多跳数据集上优势更明显,平均比R-Zero高83.3%。

想转型AI,不被时代淘汰

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

为什么要学习大模型?

我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年,人才缺口已超百万,凸显培养不足。随着AI技术飞速发展,预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。

在这里插入图片描述

在这里插入图片描述

大模型入门到实战全套学习大礼包

1、大模型系统化学习路线

作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!

img


2、大模型学习书籍&文档

学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。

在这里插入图片描述

3、AI大模型最新行业报告

2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

img

4、大模型项目实战&配套源码

学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。

img

5、大模型大厂面试真题

面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余

img

适用人群

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

Logo

有“AI”的1024 = 2048,欢迎大家加入2048 AI社区

更多推荐