人工智能（AI）超级智能会突然出现，还是科学家会预见它的到来，并有机会警告世界？随着大型语言模型（如ChatGPT）的兴起，这一问题最近引起了广泛的关注。随着规模的增长，这些模型实现了巨大的新能力。一些研究结果指向“出现”，即人工智能模型以敏锐而不可预测的方式获得智能。
但最近的一项研究称这些案例为“海市蜃楼”——系统测试过程中产生的错觉——并表明创新能力的建立是逐渐进行的。Mozilla基金会研究人工智能审计的计算机科学家黛博拉·拉吉说：“我认为他们在说‘没有发生什么神奇的事情’方面做得很好。”(DeborahRaji)说。这是一个非常好、可靠、基于测量的批评。上周在新奥尔良举行的NeuriPS机器学习会议上展示了这项工作。
越大越好
大型语言模型通常使用大量的文本或其他信息来训练，通过预测接下来会发生什么来生成真正的答案。即使没有明确的训练，他们也可以翻译语言，解决数学问题，写诗或计算机代码。模型越大——有些模型有超过1000亿个可调参数——性能越好。一些研究人员怀疑这些工具最终将实现通用人工智能（AGI），在大多数任务中匹配甚至超越人类。
这项新研究以多种方式检验了“出现”的说法。在一种方法中，科学家们比较了OpenAIGPT-3模型的四个大小将四位数相加的能力。从绝对准确性的角度看，模型第三、第四尺寸的性能差异从近0%到近100%不等。但如果考虑到答案中正确预测的数字数量，这种趋势就不那么极端了。研究人员还发现，他们也可以通过为模型提供更多的测试问题来抑制曲线——在这种情况下，较小的模型有时会正确回答。
接下来，研究人员研究了谷歌LaMDA语言模型在许多任务中的表现。它表现出明显的智力突然跳跃任务，如发现讽刺或翻译谚语，通常是多项选择任务，答案分为正确或错误。相反，当研究人员检查每个答案的概率（连续指标）时，迹象就会消失。
最后，研究人员转向计算机视觉，这是一个很少有人声称会出现的领域。他们训练模型来压缩和重建图像。它们只能通过设置严格的正确性阈值来引起明显的出现。西雅图华盛顿大学研究人工智能和常识的计算机科学家YejinChoi说：“他们的设计调查方法很有创意。”加州帕洛阿尔托斯坦福大学的计算机科学家Sanmikoyejo表示，鉴于一些系统的突然“相变”，人们接受这一想法并非不合理。
不排除任何情况
研究合著者、加利福尼亚州帕洛阿尔托斯坦福大学的计算机科学家 Sanmi Koyejo 表示，鉴于某些系统表现出突然的“相变”，人们接受涌现的想法并非没有道理。他还指出，这项研究不能完全排除大型语言模型中的这种情况，更不用说在未来的系统中了，但他补充说，“迄今为止的科学研究强烈表明，语言模型的大多数方面确实是可预测的”。
Raji很高兴看到社区更注重基准测试，而不是开发神经网络架构。她希望研究人员进一步询问这些任务与现实世界部署的关系。例如，像GPT-4一样，在有抱负的律师LSAT考试中取得好成绩是否意味着模特可以担任律师助理？
这项工作也对人工智能的安全和政策产生了影响。拉吉说：“AGI人群一直在利用新兴能力的主张。毫无根据的恐惧可能会导致令人窒息的监管或转移人们对更紧迫风险的关注。“模型正在改进，这些改进非常有用，”她说。“但他们还没有接近意识。”
