备受瞩目的前 OpenAI 政策研究员Miles Brundage周三在社交媒体上批评 OpenAI “改写了历史”,认为其在部署具有潜在风险的人工智能系统方面的做法不妥。
本周早些时候,OpenAI 发布了一份文件,概述了其当前关于人工智能安全和协调的理念,即设计以理想和可解释的方式运行的人工智能系统的过程。OpenAI 在文件中表示,它认为 AGI 的发展是一条“持续的道路”,需要“迭代部署和学习”人工智能技术。AGI 被广泛定义为可以执行人类可以执行的任何任务的人工智能系统。
OpenAI 写道:“在一个不连续的世界里……安全教训来自于对当今系统的高度谨慎,相对于其明显的威力,这就是我们对 [我们的人工智能模型] GPT-2 采取的方法。”“我们现在将第一个 AGI 视为一系列越来越有用的系统中的一个点……在连续的世界中,让下一个系统安全且有益的方法是从当前系统中学习。”
但布伦戴奇声称,GPT-2 在发布时确实值得格外谨慎,这与 OpenAI 今天的迭代部署策略“100% 一致”。
Brundage在 X 上的一篇文章中写道: “我参与的 OpenAI 发布 GPT-2 百分之百符合并预示了 OpenAI 当前的迭代部署理念。该模型是逐步发布的,每一步都会分享经验教训。当时许多安全专家都感谢我们的谨慎。”
布伦戴奇于 2018 年加入 OpenAI 担任研究科学家,曾担任该公司政策研究主管多年。在 OpenAI 的“AGI 准备”团队中,他特别关注语言生成系统的负责任部署,例如 OpenAI 的 AI 聊天机器人平台 ChatGPT。
OpenAI 于 2019 年发布的GPT-2是ChatGPT所依赖的 AI 系统的前身。GPT-2 可以回答有关某个主题的问题、总结文章,并生成与人类难以区分的文本。
尽管 GPT-2 及其输出在今天看来可能很基础,但在当时却是最先进的。OpenAI 最初以存在恶意使用风险为由拒绝发布 GPT-2 的源代码,而是选择向选定的新闻媒体提供有限的演示访问权限。
人工智能行业对这一决定褒贬不一。许多专家认为,GPT-2 带来的威胁被夸大了,而且没有任何证据表明该模型会像 OpenAI 描述的那样被滥用。专注于人工智能的出版物《The Gradient》甚至发表了一封公开信,要求 OpenAI 发布该模型,称该模型在技术上太重要了,不能隐瞒。
OpenAI 最终在模型发布六个月后发布了 GPT-2 的部分版本,几个月后又发布了完整系统。Brundage 认为这是正确的方法。
“GPT-2 的发布有哪些部分是出于或基于 AGI 不连续性的考虑?都没有,”他在 X 上的一篇文章中说道。“有什么证据表明这种谨慎在事前是‘不成比例的’?事后来看,这样做可能没问题,但这并不意味着根据当时的信息,YOLO 是负责任的。”
Brundage 担心 OpenAI 撰写这份文件的目的是为了设置举证责任,即“担忧是危言耸听”,并且“你需要有压倒性的迫在眉睫的危险证据才能采取行动”。他认为,对于先进的人工智能系统来说,这是一种“非常危险”的心态。
“如果我还在 OpenAI 工作,我会问为什么这份文件是这样写的,以及 OpenAI 到底希望通过如此不平衡的方式蔑视谨慎来实现什么,”Brundage 补充道。
OpenAI 过去一直 被指责 优先考虑“闪亮产品”而牺牲了安全性,并且 匆忙发布产品 以抢在竞争对手之前进入市场。去年,OpenAI 解散了其 AGI 准备团队,一批 AI 安全和政策研究人员离开公司,转投竞争对手。
竞争压力只会越来越大。中国人工智能实验室 DeepSeek以其公开的R1模型吸引了全世界的关注,该模型在多个关键基准上与 OpenAI 的 o1“推理”模型不相上下。OpenAI 首席执行官 Sam Altman 承认 DeepSeek 削弱了 OpenAI 的技术领先优势,并 表示 OpenAI 将“推出一些版本”以更好地参与竞争。
这笔钱的损失很大。OpenAI 每年损失数十亿美元,据报道,该公司预计到 2026 年,其年度损失可能会增加两倍,达到 140 亿美元。更快的产品发布周期可能会在短期内有利于 OpenAI 的盈利,但可能以牺牲长期安全为代价。Brundage 等专家质疑这种权衡是否值得。