日本人工智能初创公司Sakana表示，其人工智能生成了首批经过同行评审的科学出版物之一。尽管这一说法未必不实，但仍有几点需要注意。
围绕人工智能及其在科学过程中的作用的争论日益激烈。许多研究人员认为人工智能尚未准备好担任“合作科学家”，而另一些人则认为人工智能有潜力——但也承认它还处于早期阶段。
Sakana 属于后者。
该公司表示，它使用一个名为“AI Scientist-v2”的人工智能系统生成了一篇论文，Sakana 随后将其提交给了 ICLR 的一个研讨会，这是一个历史悠久且享有盛誉的人工智能会议。Sakana 声称，研讨会的组织者以及 ICLR 的领导层已同意与该公司合作进行一项实验，对人工智能生成的手稿进行双盲审查。
Sakana 表示，它与不列颠哥伦比亚大学和牛津大学的研究人员合作，向上述研讨会提交了三篇人工智能生成的论文，以供同行评审。Sakana 声称，AI Scientist-v2 以“端到端”的方式生成了这些论文，包括科学假设、实验和实验代码、数据分析、可视化、文本和标题。
Sakana 的创始成员、研究科学家 Robert Lange 通过电子邮件告诉 TechCrunch：“我们通过向 AI 提供研讨会摘要和描述来产生研究想法。这确保了生成的论文符合主题并适合提交。”
三篇论文中有一篇被 ICLR 研讨会接受——该论文对 AI 模型的训练技术提出了批评。Sakana 表示，为了保持透明度和尊重 ICLR 惯例，它立即撤回了这篇论文，否则它就无法发表。
“这篇被接受的论文既介绍了一种训练神经网络的全新且有前景的方法，也表明了仍然存在的实证挑战，”Lange 说道。“它提供了一个有趣的数据点，以激发进一步的科学研究。”
但这一成就并不像乍看起来那么令人印象深刻。
在博客文章中，Sakana 承认其人工智能偶尔会犯下“令人尴尬”的引用错误，例如错误地将一种方法归因于 2016 年的一篇论文，而不是 1997 年的原始著作。
Sakana 的论文也没有像其他一些同行评议出版物那样经过严格审查。由于该公司在初步同行评议后就撤回了论文，因此该论文没有接受额外的“元评审”，而研讨会组织者理论上可以在元评审期间拒绝该论文。
此外，会议研讨会的接受率往往高于主要“会议轨道”的接受率——Sakana 在其博客文章中坦率地提到了这一事实。该公司表示，其所有由人工智能生成的研究均未通过 ICLR 会议轨道出版的内部标准。
阿尔伯塔大学人工智能研究员兼助理教授 Matthew Guzdial 称 Sakana 的研究结果“有点误导”。
“Sakana 团队从生成的论文中挑选出这些论文，这意味着他们在挑选他们认为可能被收录的输出时使用了人类的判断，”他在电子邮件中说道。“我认为这表明人类和人工智能可以发挥作用，而不是人工智能单独就能创造科学进步。”
伦敦国王学院专门研究人工智能的研究员迈克·库克 (Mike Cook) 对同行评审人员和研讨会的严谨性提出了质疑。
“像这样的新研讨会，通常会由更多的初级研究人员进行评审，”他告诉 TechCrunch。“值得注意的是，这次研讨会是关于负面结果和困难的——这很好，我以前也举办过类似的研讨会——但可以说，让人工智能令人信服地写出失败的记录更容易。”
库克补充说，考虑到人工智能擅长撰写听起来像人类的文章，他并不惊讶人工智能能够通过同行评审。库克指出，部分由人工智能生成的 论文通过期刊评审甚至不是什么新鲜事，这给科学带来的道德困境也不是什么新鲜事。
人工智能的技术缺陷（例如容易产生 幻觉 ）让许多科学家不敢支持它从事严肃的研究。此外，专家们担心人工智能最终只会在科学文献中制造噪音，而不是推动进步。
“我们需要扪心自问，[Sakana] 的结果是否关乎人工智能在设计和开展实验方面的能力，还是关乎人工智能在向人类推销创意方面的能力——我们知道人工智能在这方面已经很擅长了，”库克说。“通过同行评审和为某个领域贡献知识之间是有区别的。”
值得赞扬的是，Sakana 并未声称其人工智能能够产生开创性的——甚至是特别新颖的——科学成果。相反，该公司表示，实验的目的是“研究人工智能生成的研究的质量”，并强调“关于人工智能生成的科学的规范”的迫切需要。
该公司写道：“对于是否应该首先根据人工智能生成的科学本身的优点来判断，以避免对其产生偏见，这是一个难题。展望未来，我们将继续与研究界就这项技术的现状交换意见，以确保它不会在未来发展成其唯一目的是通过同行评审的情况，从而大大破坏科学同行评审过程的意义。”
