OpenAI推出AI Agent评测基准PaperBench

19
2025-04-03

OpenAI 团队推出了一个名为 PaperBench 的基准测试,旨在评估AI代理在复制先进 AI 研究方面的能力。该测试要求 AI 代理从头开始复制20篇2024年国际机器学习会议(ICML)中的重点和口头论文,整个过程涉及理解论文贡献、开发代码库以及成功执行实验。



为确保评估的客观性,研究人员设计了详细的评分标准。这些标准将每项复制任务分解为多个层级的子任务,并设定明确的评分标准。PaperBench 一共包含8316个可以单独评分的任务,所有评分量规均与每篇论文的作者合作开发,以保证其准确性和真实性。


为了实现大规模评估,研究团队还开发了一种基于大型语言模型(LLM)的自动评分系统。这一系统能够根据预设的评分标准对 AI 代理的复制尝试进行评分,同时,团队也为该评分系统建立了独立的基准,以评估其性能。


在对多个前沿 AI 模型进行评测后,研究发现表现最佳的代理是 Claude3.5Sonnet(新版本),其平均复制得分为21.0%。为了进一步验证这些结果,研究人员还邀请了多位顶尖的机器学习博士生尝试 PaperBench 的部分任务,结果显示,目前的 AI 模型尚未超越人类的复制能力。


为了推动后续研究,OpenAI 团队决定将其开发的代码开源,以便更多的研究者能够利用这一平台,深入探索 AI 代理的工程能力及其在复制 AI 研究方面的潜力。


划重点:


🌟 PaperBench 是一个新基准,用于评估 AI 代理复制 AI 研究的能力,涉及20篇 ICML2024论文。


🔍 该测试设计了8316个可单独评分的任务,评分标准与论文作者共同开发。


🤖 Claude3.5Sonnet 是测试中表现最好的模型,但仍未超越顶尖人类研究者。

79953
文章来源于网络,如有侵权请联系本站删除
精选二手好课
更多>>
年卡|转让一套猿编程Python编程直播课
编程课
¥3000
次卡|北京乐博乐博———乐高编程
乐高编程课
¥3200
次卡|大连华南玛酷机器人少儿编程课程
编程课
¥3400
次卡|广州广钢新城乐创坊&苏达编程课
编程课
¥3600
年卡|奇码星球平台的编程课
编程课
¥4000
次卡|北京因搬家,丰台万源广场卡思德编程剩余课时转让
编程课
¥4290
次卡|济南转让玛酷机器人编程中心课程
编程课
¥2000
年卡|上海乐高编程课,小朋友课太多有时候上不过来
编程课
¥2200
次卡|乔思编程小班直播课转让:图形化、python、C 三选一
编程课
¥2500
次卡|编程猫3d编程课
3D编程课
¥2288
73
AI资讯

OpenAI推出AI Agent评测基准PaperBench

OpenAI 团队推出了一个名为 PaperBench 的基准测试,旨在评估AI代理在复制先进 AI 研究方面的能力。该测试要求 AI 代理从头开始复制20篇2024年国际机器学习会议(ICML)中的重点和口头论文,整个过程涉及理解论文贡献、开发代码库以及成功执行实验。



为确保评估的客观性,研究人员设计了详细的评分标准。这些标准将每项复制任务分解为多个层级的子任务,并设定明确的评分标准。PaperBench 一共包含8316个可以单独评分的任务,所有评分量规均与每篇论文的作者合作开发,以保证其准确性和真实性。


为了实现大规模评估,研究团队还开发了一种基于大型语言模型(LLM)的自动评分系统。这一系统能够根据预设的评分标准对 AI 代理的复制尝试进行评分,同时,团队也为该评分系统建立了独立的基准,以评估其性能。


在对多个前沿 AI 模型进行评测后,研究发现表现最佳的代理是 Claude3.5Sonnet(新版本),其平均复制得分为21.0%。为了进一步验证这些结果,研究人员还邀请了多位顶尖的机器学习博士生尝试 PaperBench 的部分任务,结果显示,目前的 AI 模型尚未超越人类的复制能力。


为了推动后续研究,OpenAI 团队决定将其开发的代码开源,以便更多的研究者能够利用这一平台,深入探索 AI 代理的工程能力及其在复制 AI 研究方面的潜力。


划重点:


🌟 PaperBench 是一个新基准,用于评估 AI 代理复制 AI 研究的能力,涉及20篇 ICML2024论文。


🔍 该测试设计了8316个可单独评分的任务,评分标准与论文作者共同开发。


🤖 Claude3.5Sonnet 是测试中表现最好的模型,但仍未超越顶尖人类研究者。

79953
文章来源于网络,如有侵权请联系本站删除
二手好课
更多>>
年卡|转让一套猿编程Python编程直播课
编程课
¥3000
次卡|北京乐博乐博———乐高编程
乐高编程课
¥3200
次卡|大连华南玛酷机器人少儿编程课程
编程课
¥3400
次卡|广州广钢新城乐创坊&苏达编程课
编程课
¥3600
年卡|奇码星球平台的编程课
编程课
¥4000
次卡|北京因搬家,丰台万源广场卡思德编程剩余课时转让
编程课
¥4290
次卡|济南转让玛酷机器人编程中心课程
编程课
¥2000
年卡|上海乐高编程课,小朋友课太多有时候上不过来
编程课
¥2200
次卡|乔思编程小班直播课转让:图形化、python、C 三选一
编程课
¥2500
次卡|编程猫3d编程课
3D编程课
¥2288