最近,人工智能公司 Anthropic 发布了其 “负责任扩展” 政策的最新更新,明确了哪些模型需要额外的安全保护。这一举措旨在确保在推出新技术前,能够有效防范可能的风险。
据 Anthropic 在其博客中所述,如果在对某个 AI 模型进行压力测试时发现,该模型有可能帮助一个 “资源适中的国家程序” 开发化学和生物武器,Anthropic 将会在正式推出该技术之前,首先采取新的安全保护措施。此外,若模型有能力全自动化初级研究员的工作,或在技术快速扩展中带来过大的加速效应,公司也会相应地加强安全措施。
Anthropic 在本月早些时候完成了一轮新的融资,估值达到615亿美元,成为 AI 初创公司中估值最高的之一。不过,与 OpenAI 相比,这一估值仍然显得微不足道,后者近日宣布完成了400亿美元融资,总估值达到了3000亿美元。未来十年,生成性 AI 市场预计将超过1万亿美元,市场竞争愈发激烈,包括谷歌、亚马逊和微软等科技巨头都在积极推出新产品和功能。而来自中国的竞争也逐渐显现,例如 DeepSeek 的 AI 模型在美国的迅速走红便是一个例子。
在去年十月发布的 “负责任扩展” 政策中,Anthropic 还提到会进行物理办公室的安全检查,旨在发现潜在的监控设备。该公司确认,已成立了高管风险委员会,并建立了内部安全团队。此外,他们还将引入 “物理” 安全流程,利用先进的检测设备和技术进行监控设备的侦测,确保公司内部的安全。
Anthropic 在 AI 安全和责任方面的不断努力,不仅是为了保护自身的技术,更是对整个行业健康发展的重要保障。