今年的ICLR(一个长期举办的专注于人工智能的学术会议)上提交的“人工智能生成”研究引发了一场争议。
至少有三家人工智能实验室(Sakana、Intology和Autoscience)声称已使用人工智能生成被 ICLR 研讨会接受的研究。在 ICLR 等会议上,研讨会组织者通常会审查研究,以便在会议的研讨会轨道上发表。
Sakana 在提交其 AI 生成的论文并获得同行评审员同意之前通知了 ICLR 领导层。ICLR 发言人向 TechCrunch 证实,另外两个实验室——Intology 和 Autoscience——并没有这样做。
一些人工智能学者在社交媒体上批评 Intology 和 Autoscience 的行为,称其窃取了科学同行评审的程序。
“所有这些人工智能科学家的论文都使用同行评审的平台进行人工评估,但没有人同意提供这种免费劳动力,”加州大学圣地亚哥分校计算机科学助理教授 Prithviraj Ammanabrolu 在X 帖子中写道。“无论这个系统多么令人印象深刻,它都让我对所有参与其中的人失去了尊重。请向编辑们披露此事。”
正如批评者所指出的,同行评审是一项耗时、耗力且大多由志愿者完成的苦差事。根据《自然》杂志最近的一项调查,40% 的学者花费两到四个小时来审查一项研究。这项工作一直在不断增加。去年,提交给最大的人工智能会议 NeurIPS 的论文数量增长到 17,491 篇,比 2023 年的 12,345 篇增长了 41%。
学术界已经存在 AI 生成的文本问题。一项分析发现,2023 年提交给 AI 会议的论文中,6.5% 至 16.9% 可能包含合成文本。但 AI 公司使用同行评审来有效评估和宣传其技术是一种相对较新的现象。
Intology 在X 上的一篇吹捧其 ICLR 结果的帖子中写道:“[Intology 的] 论文获得了一致好评。”在同一篇文章中,该公司继续声称研讨会审稿人称赞了其一项 AI 生成的研究的“聪明想法”。
学术界对此并不持乐观态度。
马里兰大学博士后研究员 Ashwinee Panda在 X 帖子中表示,提交人工智能生成的论文而不给予研讨会组织者拒绝的权利,表现出“对人类审阅者时间的不尊重”。
“Sakana 与我们联系,询问我们是否愿意参加我在 ICLR 组织的研讨会上的实验,”Panda 补充道,“我(我们)说不……我认为在没有联系审稿人的情况下将 AI 论文提交到会场是不好的。”
许多研究人员对人工智能生成的论文是否值得同行评审表示怀疑,这并非毫无道理。
Sakana 自己也承认,其人工智能犯了“令人尴尬的”引用错误,该公司选择提交的三篇人工智能生成的论文中,只有一篇符合会议接受的标准。该公司表示,为了保持透明度和尊重 ICLR 惯例,Sakana 在 ICLR 论文发表前撤回了它。
人工智能初创公司 Pleias 的联合创始人亚历山大·多里亚 (Alexander Doria) 表示,大量秘密提交的 ICLR 合成论文表明,需要一家“受监管的公司 / 公共机构”以一定价格执行“高质量”的人工智能研究评估。
Doria 在 X 的一系列 帖子中表示:“评估应该由研究人员完成,并充分补偿他们的时间。学术界并不是将免费的 [AI] 评估外包出去的。”