20世纪80年代末，美国总统里根在与苏联谈判军控条约时，频繁使用“信任，但要核实”这句话。这句出自俄罗斯谚语（doveryai，no proveryai），强调了核实对于国际协议的重要性。
今天，许多技术和政策领导人开始设想旨在促进先进人工智能安全和负责任发展的国际协议。
正如我和同事在最近的一篇研究论文中指出的那样，许多人都在努力想办法避免人类走向超级人工智能，因为他们担心这可能会导致全球灾难。正如图灵奖获得者 Yoshua Bengio 所总结的那样：“在所有的讨论和辩论中，最重要的是要认识到一个非常简单和无可争辩的事实：虽然我们正在向 AGI [通用人工智能]甚至 ASI [超级人工智能]迈进，但目前没有人知道如何让这种 AGI 或 ASI 表现出道德行为，或者至少按照其开发人员的意图行事，而不是反对人类”（原文着重强调）。
萨姆·奥特曼等科技界领袖呼吁建立类似国际原子能机构 (IAEA) 的人工智能监管机构。谷歌 DeepMind 首席执行官德米斯·哈萨比斯 (Demis Hassabis) 最近将“欧洲核子研究中心 (CERN) 人工智能”模式 (CERN 是欧洲核子研究中心) 描述为实现高级人工智能安全的最佳途径。CIGI 在其出版物《全球人工智能挑战框架公约》中详细阐述了这些想法。邓肯·卡斯-贝格斯 (Duncan Cass-Beggs) 领导的团队已开始构想国际人工智能治理机构和高级人工智能开发联合实验室。
当然，这些建议并非可以立即实现。但随着政策制定者更加关注前沿人工智能的发展并更好地了解潜在风险，未来可能会出现国际建议可以实现的时刻。考虑到这一点，我们研究了验证问题。
受到推崇的
全球人工智能挑战框架公约
特别报道
“信任但要核实”适用于人工智能
“在签字仪式上，里根先生强调了广泛的核查程序，这将使双方能够监督条约的遵守情况。”—— 《纽约时报》对《中程核力量条约》（INF条约）签署的报道
里根的“信任但要核实”方法应用于人工智能开发会是什么样子？我们的研究团队研究了各国可用于检测不遵守潜在国际协议的 10 种技术。
有些方法可由各国直接实施，无需任何额外协议（国家技术手段）。其他方法则需要接受调查的国家批准（访问相关方法）。第三类方法则依赖于与先进硬件相关的协议（硬件相关方法）。
在这三个类别中，10 种验证方法可以总结如下（有关更多详细信息，请参阅我们的论文）：
国家技术手段
远程感应：通过视觉和热信号检测未经授权的数据中心和半导体制造。
举报人：激励内部人员举报不合规行为。
能源监控：检测表明可能存在大量通用处理单元集群的电力消耗模式。
海关数据分析：追踪关键人工智能硬件和原材料的流动。
金融情报：监控与人工智能开发相关的大额金融交易。
访问相关方法
数据中心检查：对场地进行检查以评估数据中心的规模、验证是否遵守硬件协议以及验证是否遵守其他安全协议。
半导体制造工厂检查：对场地进行检查以确定芯片生产数量，并验证芯片生产是否符合有关先进硬件的任何协议。
人工智能开发人员检查：通过访谈、文件和培训成绩单审计以及潜在的代码审查对人工智能开发设施进行检查。
硬件相关方法
芯片位置追踪：先进AI芯片的自动位置追踪。
基于芯片的报告：如果芯片用于未经授权的用途，则自动通知。
下一步是什么？
我们的研究是朝着建立关于验证的常识和理解迈出的第一步。它旨在激发进一步的研究。
仍有许多悬而未决的问题，特别是关于验证的稳健性、国际协议的监督和执行、以及使用硬件进行验证的可行性。
国际核查机制有多健全？
未来的工作可以探索如何将验证方法组合成一个全面的验证机制。此外，这项工作还可以研究对手如何试图逃避或规避验证机制。红队和蓝队演习可用于预测对手的潜在策略并提高验证机制的稳健性。
哪些机构可以帮助监督和执行国际人工智能协议？
国际原子能机构帮助监测违反《不扩散核武器条约》的行为，禁止化学武器组织帮助监测违反《化学武器公约》的行为。是否需要一个新的国际机构来管理先进人工智能的发展或检测潜在的人工智能条约违规行为？如果需要，这样的机构应该如何管理，又应该如何解决国家之间潜在的争端？
依赖硬件的方法有多可行？
进一步研究硬件支持机制的技术和政策工作可以帮助我们了解各种硬件相关验证方法的可行性。哪些功能可以通过先进的硬件实现？防止或检测篡改硬件支持机制的行为有多难？哪些硬件支持机制已经可以实现，哪些需要进一步研究和开发？（感兴趣的读者应该参阅兰德公司关于硬件支持治理机制的这份报告。）
冷战期间，在谈判有关核武器的关键协议（包括《中导条约》和《削减战略武器条约》）时，信任但需要核实，这一点至关重要。这些协议并不完美，在地缘政治紧张局势加剧期间，它们面临着特别重大的挑战。但总而言之，它们树立了一个重要的先例，可供未来的工作借鉴。
今天，各国面临着如何确保先进人工智能安全、负责任地发展的重要问题。国际协调的初步措施已经采取：各国组织了全球人工智能安全峰会、人工智能安全研究所国际网络、关于人工智能安全的一轨和二轨对话，以及关于先进人工智能安全的国际科学报告。
随着这些努力取得成果，我们可以期待看到各国认真考虑国际治理协议。人类可靠地监督遵守情况的能力对于推动这些讨论至关重要。
