在一份新报告中，由人工智能先驱李飞飞共同领导的加州政策小组建议立法者在制定人工智能监管政策时应该考虑“世界上尚未观察到的”人工智能风险。
周二发布的这份长达 41 页的中期报告来自加州前沿人工智能模型联合政策工作组，该工作组由加州州长加文·纽瑟姆在否决加州备受争议的人工智能安全法案 SB 1047后组织成立。尽管纽瑟姆认为SB 1047 未能达到目标，但他去年承认需要对人工智能风险进行更广泛的评估，以便为立法者提供参考。
在这份报告中，李飞飞与共同作者加州大学伯克利分校计算机学院院长詹妮弗·查耶斯和卡内基国际和平基金会主席马里亚诺·弗洛伦蒂诺·奎利亚尔一起，主张制定法律，提高 OpenAI 等前沿人工智能实验室建设的透明度。来自不同意识形态领域的行业利益相关者在报告发布前都对其进行了审查，其中包括坚定的人工智能安全倡导者，如图灵奖获得者 Yoshua Benjio，以及反对 SB 1047 的人，如 Databricks 联合创始人 Ion Stoica。
根据该报告，人工智能系统带来的新风险可能需要制定法律，迫使人工智能模型开发人员公开报告其安全测试、数据获取实践和安全措施。该报告还提倡提高第三方评估这些指标和公司政策的标准，并扩大对人工智能公司员工和承包商的举报人保护。
Li 等人写道，目前“尚无确凿证据”表明人工智能有可能帮助实施网络攻击、制造生物武器或带来其他“极端”威胁。但他们还认为，人工智能政策不仅应解决当前的风险，还应预测在没有足够保障措施的情况下可能发生的未来后果。
报告指出：“例如，我们不需要观察核武器爆炸，就能可靠地预测它可能会造成广泛伤害。如果那些推测最极端风险的人是对的——我们不确定他们是否正确——那么目前对前沿人工智能不采取行动的风险和代价是极高的。”
报告建议采取双管齐下的策略来提高人工智能模型开发的透明度：信任但要核实。报告称，应为人工智能模型开发者及其员工提供渠道来报告公众关注的领域，例如内部安全测试，同时还要求他们提交测试声明以供第三方验证。
该报告的最终版本将于 2025 年 6 月发布，尽管其中并未支持任何具体立法，但它还是受到了人工智能政策制定辩论双方专家的一致好评。
乔治梅森大学 (George Mason University) 专注于人工智能的研究员 Dean Ball 对 SB 1047 持批评态度，他在 X 上的一篇文章中表示，这份报告是加州人工智能安全监管迈出的有希望的一步。去年提出 SB 1047 的加州参议员 Scott Wiener 表示，这也是人工智能安全倡导者的胜利。Wiener 在一份新闻稿中表示，该报告建立在“我们在立法机构 [2024 年] 开始的关于人工智能治理的紧急对话”的基础上。
该报告似乎与 SB 1047 和维纳的后续法案SB 53的几个部分相一致，例如要求人工智能模型开发人员报告安全测试的结果。从更广泛的角度来看，这似乎是人工智能安全人员急需的胜利，他们的议程在去年已经失去了立足之地。
