ChatGPT 制造商 OpenAI 表示正在加倍努力防止人工智能“失控”

590
2023-08-02

  


ChatGPT 的创建者 OpenAI 周三表示,计划投入大量资源并创建一个新的研究团队,以确保其人工智能对人类保持安全,最终使用人工智能来监督自身。

OpenAI 联合创始人伊利亚·苏茨克韦尔 (Ilya Sutskever) 和联盟负责人简·雷克 (Jan Leike) 在博客文章中写道:“超级智能的巨大力量可能……导致人类丧失权力,甚至导致人类灭绝。” “目前,我们还没有一个解决方案来引导或控制潜在的超级人工智能,并防止其失控。”

该博客文章的作者预测,超级智能人工智能——比人类更智能的系统——可能会在本十年到来。作者表示,人类需要比目前更好的技术来控制超级智能人工智能,因此需要在所谓的“一致性研究”方面取得突破,该研究的重点是确保人工智能仍然对人类有益。

他们写道,由微软支持的 OpenAI 将在未来四年内投入 20% 的计算能力来解决这个问题。此外,该公司正在组建一个新团队,称为 Superalignment 团队,围绕这项工作进行组织。


该团队的目标是创建一个“人类水平”的人工智能对齐研究人员,然后通过大量的计算能力对其进行扩展。OpenAI 表示,这意味着他们将使用人类反馈来训练人工智能系统,训练人工智能系统来辅助人类评估,然后最终训练人工智能系统来实际进行对齐研究。


人工智能安全倡导者康纳·莱希 (Connor Leahy) 表示,该计划存在根本性缺陷,因为最初的人类水平的人工智能在被迫解决人工智能安全问题之前可能会失控并造成严重破坏。


他在接受采访时表示:“在构建人类水平的智能之前,你必须解决一致性问题,否则默认情况下你将无法控制它。” “我个人认为这不是一个特别好的或安全的计划。”


人工智能的潜在危险一直是人工智能研究人员和公众最关心的问题。今年 4 月,一群人工智能行业领袖和专家签署了一封公开信,呼吁暂停开发比 OpenAI 的 GPT-4 更强大的系统六个月,理由是对社会存在潜在风险。路透社/益普索 5 月份的一项民意调查发现,超过三分之二的美国人担心人工智能可能带来的负面影响,61% 的人认为它可能威胁文明。

60270
文章来源于网络,如有侵权请联系本站删除
精选二手好课
更多>>
年卡|低价出还有书
专升本
¥1800
次卡|沧州 木/电吉他一对一课程转让 线上线下均可
吉他课
¥2600
次卡|Hellokid纯欧美英语外教一对一
欧美英语外教一对一
¥12000
年卡|便宜转让
健身年卡+私教课
¥10000
次卡|低价转让
瑜伽
¥75
年卡|JS舞蹈(珠海井岸店)双项教练班年卡转让
古典舞,JAZZ,K-POP,HIPPOP
¥9000
年卡|注册会计师会计、审计、财管强化阶段课程转让
注册会计师
¥3680
次卡|广州奥园广场芒果健身私教课转让
康复课、常规私教课
¥7500
次卡|瑜伽课转让
小班课
¥4263
年卡|大刊牛文课转让
大刊牛文课
¥1000
73
AI资讯

ChatGPT 制造商 OpenAI 表示正在加倍努力防止人工智能“失控”

收录于合集

  


ChatGPT 的创建者 OpenAI 周三表示,计划投入大量资源并创建一个新的研究团队,以确保其人工智能对人类保持安全,最终使用人工智能来监督自身。

OpenAI 联合创始人伊利亚·苏茨克韦尔 (Ilya Sutskever) 和联盟负责人简·雷克 (Jan Leike) 在博客文章中写道:“超级智能的巨大力量可能……导致人类丧失权力,甚至导致人类灭绝。” “目前,我们还没有一个解决方案来引导或控制潜在的超级人工智能,并防止其失控。”

该博客文章的作者预测,超级智能人工智能——比人类更智能的系统——可能会在本十年到来。作者表示,人类需要比目前更好的技术来控制超级智能人工智能,因此需要在所谓的“一致性研究”方面取得突破,该研究的重点是确保人工智能仍然对人类有益。

他们写道,由微软支持的 OpenAI 将在未来四年内投入 20% 的计算能力来解决这个问题。此外,该公司正在组建一个新团队,称为 Superalignment 团队,围绕这项工作进行组织。


该团队的目标是创建一个“人类水平”的人工智能对齐研究人员,然后通过大量的计算能力对其进行扩展。OpenAI 表示,这意味着他们将使用人类反馈来训练人工智能系统,训练人工智能系统来辅助人类评估,然后最终训练人工智能系统来实际进行对齐研究。


人工智能安全倡导者康纳·莱希 (Connor Leahy) 表示,该计划存在根本性缺陷,因为最初的人类水平的人工智能在被迫解决人工智能安全问题之前可能会失控并造成严重破坏。


他在接受采访时表示:“在构建人类水平的智能之前,你必须解决一致性问题,否则默认情况下你将无法控制它。” “我个人认为这不是一个特别好的或安全的计划。”


人工智能的潜在危险一直是人工智能研究人员和公众最关心的问题。今年 4 月,一群人工智能行业领袖和专家签署了一封公开信,呼吁暂停开发比 OpenAI 的 GPT-4 更强大的系统六个月,理由是对社会存在潜在风险。路透社/益普索 5 月份的一项民意调查发现,超过三分之二的美国人担心人工智能可能带来的负面影响,61% 的人认为它可能威胁文明。

60270
收录于合集
文章来源于网络,如有侵权请联系本站删除
二手好课
更多>>
年卡|低价出还有书
专升本
¥1800
次卡|沧州 木/电吉他一对一课程转让 线上线下均可
吉他课
¥2600
次卡|Hellokid纯欧美英语外教一对一
欧美英语外教一对一
¥12000
年卡|便宜转让
健身年卡+私教课
¥10000
次卡|低价转让
瑜伽
¥75
年卡|JS舞蹈(珠海井岸店)双项教练班年卡转让
古典舞,JAZZ,K-POP,HIPPOP
¥9000
年卡|注册会计师会计、审计、财管强化阶段课程转让
注册会计师
¥3680
次卡|广州奥园广场芒果健身私教课转让
康复课、常规私教课
¥7500
次卡|瑜伽课转让
小班课
¥4263
年卡|大刊牛文课转让
大刊牛文课
¥1000