ChatGPT 制造商 OpenAI 表示正在加倍努力防止人工智能“失控”

557
2023-08-02

  


ChatGPT 的创建者 OpenAI 周三表示,计划投入大量资源并创建一个新的研究团队,以确保其人工智能对人类保持安全,最终使用人工智能来监督自身。

OpenAI 联合创始人伊利亚·苏茨克韦尔 (Ilya Sutskever) 和联盟负责人简·雷克 (Jan Leike) 在博客文章中写道:“超级智能的巨大力量可能……导致人类丧失权力,甚至导致人类灭绝。” “目前,我们还没有一个解决方案来引导或控制潜在的超级人工智能,并防止其失控。”

该博客文章的作者预测,超级智能人工智能——比人类更智能的系统——可能会在本十年到来。作者表示,人类需要比目前更好的技术来控制超级智能人工智能,因此需要在所谓的“一致性研究”方面取得突破,该研究的重点是确保人工智能仍然对人类有益。

他们写道,由微软支持的 OpenAI 将在未来四年内投入 20% 的计算能力来解决这个问题。此外,该公司正在组建一个新团队,称为 Superalignment 团队,围绕这项工作进行组织。


该团队的目标是创建一个“人类水平”的人工智能对齐研究人员,然后通过大量的计算能力对其进行扩展。OpenAI 表示,这意味着他们将使用人类反馈来训练人工智能系统,训练人工智能系统来辅助人类评估,然后最终训练人工智能系统来实际进行对齐研究。


人工智能安全倡导者康纳·莱希 (Connor Leahy) 表示,该计划存在根本性缺陷,因为最初的人类水平的人工智能在被迫解决人工智能安全问题之前可能会失控并造成严重破坏。


他在接受采访时表示:“在构建人类水平的智能之前,你必须解决一致性问题,否则默认情况下你将无法控制它。” “我个人认为这不是一个特别好的或安全的计划。”


人工智能的潜在危险一直是人工智能研究人员和公众最关心的问题。今年 4 月,一群人工智能行业领袖和专家签署了一封公开信,呼吁暂停开发比 OpenAI 的 GPT-4 更强大的系统六个月,理由是对社会存在潜在风险。路透社/益普索 5 月份的一项民意调查发现,超过三分之二的美国人担心人工智能可能带来的负面影响,61% 的人认为它可能威胁文明。

60270
文章来源于网络,如有侵权请联系本站删除
精选二手好课
更多>>
年卡|一级建造师 优路教育 私教班
一级建造师
¥1000
年卡|注册电气工程师基础考试,英之教育,优培班
注册电气工程师
¥2000
年卡|超格网课转让
教师招聘
¥500
次卡|宁波哈喽贝比早教课时托班
早教课
¥8800
次卡|泰安克莱沃(金色雨林)早教课。配合更名。 还余76节课。一口价8890转。
早教课
¥8890
次卡|昆明海伦国际七田阳光早教课100节
早教课
¥9000
次卡|西安A索国际早教转课,还剩129节,赠送4节课!
早教课
¥9000
次卡|海口本人在高米早教课有100节,打包9000
早教课
¥9000
次卡|济南市中区欧亚大观金宝贝幼儿早教中心课程
早教课
¥9000
次卡|深圳小马快跑早教,200多一节课现在转让140一节
早教课
¥9400
73
AI资讯

ChatGPT 制造商 OpenAI 表示正在加倍努力防止人工智能“失控”

收录于合集

  


ChatGPT 的创建者 OpenAI 周三表示,计划投入大量资源并创建一个新的研究团队,以确保其人工智能对人类保持安全,最终使用人工智能来监督自身。

OpenAI 联合创始人伊利亚·苏茨克韦尔 (Ilya Sutskever) 和联盟负责人简·雷克 (Jan Leike) 在博客文章中写道:“超级智能的巨大力量可能……导致人类丧失权力,甚至导致人类灭绝。” “目前,我们还没有一个解决方案来引导或控制潜在的超级人工智能,并防止其失控。”

该博客文章的作者预测,超级智能人工智能——比人类更智能的系统——可能会在本十年到来。作者表示,人类需要比目前更好的技术来控制超级智能人工智能,因此需要在所谓的“一致性研究”方面取得突破,该研究的重点是确保人工智能仍然对人类有益。

他们写道,由微软支持的 OpenAI 将在未来四年内投入 20% 的计算能力来解决这个问题。此外,该公司正在组建一个新团队,称为 Superalignment 团队,围绕这项工作进行组织。


该团队的目标是创建一个“人类水平”的人工智能对齐研究人员,然后通过大量的计算能力对其进行扩展。OpenAI 表示,这意味着他们将使用人类反馈来训练人工智能系统,训练人工智能系统来辅助人类评估,然后最终训练人工智能系统来实际进行对齐研究。


人工智能安全倡导者康纳·莱希 (Connor Leahy) 表示,该计划存在根本性缺陷,因为最初的人类水平的人工智能在被迫解决人工智能安全问题之前可能会失控并造成严重破坏。


他在接受采访时表示:“在构建人类水平的智能之前,你必须解决一致性问题,否则默认情况下你将无法控制它。” “我个人认为这不是一个特别好的或安全的计划。”


人工智能的潜在危险一直是人工智能研究人员和公众最关心的问题。今年 4 月,一群人工智能行业领袖和专家签署了一封公开信,呼吁暂停开发比 OpenAI 的 GPT-4 更强大的系统六个月,理由是对社会存在潜在风险。路透社/益普索 5 月份的一项民意调查发现,超过三分之二的美国人担心人工智能可能带来的负面影响,61% 的人认为它可能威胁文明。

60270
收录于合集
文章来源于网络,如有侵权请联系本站删除
二手好课
更多>>
年卡|一级建造师 优路教育 私教班
一级建造师
¥1000
年卡|注册电气工程师基础考试,英之教育,优培班
注册电气工程师
¥2000
年卡|超格网课转让
教师招聘
¥500
次卡|宁波哈喽贝比早教课时托班
早教课
¥8800
次卡|泰安克莱沃(金色雨林)早教课。配合更名。 还余76节课。一口价8890转。
早教课
¥8890
次卡|昆明海伦国际七田阳光早教课100节
早教课
¥9000
次卡|西安A索国际早教转课,还剩129节,赠送4节课!
早教课
¥9000
次卡|海口本人在高米早教课有100节,打包9000
早教课
¥9000
次卡|济南市中区欧亚大观金宝贝幼儿早教中心课程
早教课
¥9000
次卡|深圳小马快跑早教,200多一节课现在转让140一节
早教课
¥9400