OpenAI宣布成立Preparedness团队 对前沿模型进行安全评估

12月19日消息,据外媒报道,当地时间周四,OpenAI宣布成立新的Preparedness团队,该团队致力于确保前沿人工智能(AI)模型的安全。

今年10月份的时候,OpenAI就宣布,它将组建一个名为Preparedness的新团队,以评估和减轻与人工智能相关的“灾难性风险”。

该团队由麻省理工学院可部署机器学习中心主任亚历山大·马德里(Aleksander Madry)领导,将帮助跟踪、评估、预测和防范由人工智能模型带来的灾难性风险。

据外媒报道,OpenAI已放弃寻找信任和安全部门主管戴夫·威尔纳(Dave Willner)的继任者,后者于今年7月辞职。相反,该公司拆分了该部门,成立了三个独立的团队来处理人工智能风险,这三个团队分别是“安全系统”(Safety Systems)团队、“超级对齐(Superalignment)”团队和Preparedness团队。

该公司表示,“安全系统”团队专注于高级人工智能模型和人工通用智能的安全部署,专注于减少对当前模型和产品(如ChatGPT)的滥用;“超级对齐”团队为该公司(希望)在更遥远的未来拥有的超级智能模型的安全性奠定基础;Preparedness团队负责绘制前沿模型的新风险,并对前沿模型进行安全评估。

该公司还表示,它将建立一个专门的团队来监督技术工作,并且将建立一个安全决策的运作结构。Preparedness团队将推动技术工作,检查前沿模型能力的极限,进行评估,并汇总报告。与此同时,该公司将建立一个跨职能的安全咨询小组,负责审查所有报告,并将报告同时提交给公司领导层和董事会。虽然领导层是决策者,但董事会有权推翻决策。

OpenAI是由特斯拉CEO埃隆•马斯克(Elon Musk)、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得·蒂尔等硅谷科技大亨于2015年联合创立的一家美国人工智能研究公司,主攻人工智能技术应用领域。

该公司CEO萨姆•奥尔特曼(Sam Altman)是一位著名的人工智能末日预言家,他经常担心人工智能“可能导致人类灭绝”。

据外媒报道,奥尔特曼曾警告过人工智能可能引发灾难性事件。今年5月,他和其他著名的人工智能研究人员发表了一份声明,称“减轻人工智能带来的灭绝性风险应成为全球优先事项”。

今年9月份,OpenAI宣布推出“红队网络”(Red Teaming Network),并邀请各领域专家加入其“红队网络”,以提高其人工智能模型的安全性。签约的专家将通过协助评估和减轻模型风险,在增强OpenAI人工智能系统的稳健性方面发挥关键作用。(小狐狸)

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

赞助商
2023-12-19
OpenAI宣布成立Preparedness团队 对前沿模型进行安全评估
当地时间周四,OpenAI宣布成立新的Preparedness团队,该团队致力于确保前沿人工智能(AI)模型的安全。

长按扫码 阅读全文