OpenAI 与自家安全团队的裂痕公开化了。据《华尔街日报》报道,OpenAI 近日开除了三名安全研究员,理由是他们违规把公司敏感信息分享给第三方 AI 安全组织。三人都在内部安全团队工作,其中至少两人专攻 AI 对齐与安全。
开除三人:违规外传敏感信息
被开除的三人是贾丝明·王(Jasmine Wang)、托梅克·科尔巴克(Tomek Korbak)和米基塔·巴列斯尼(Mikita Balesni)。OpenAI 发言人证实:"我们已与三名违反公司敏感信息获取与处理政策的个人分道扬镳。调查确认,他们在公司既定流程之外不当处理了敏感信息,违背了我们工作所必需的信任。"公司没有说明涉及哪些材料,也没有点名接收信息的第三方组织。
三人都有安全背景。王做 AI 对齐研究,此前在英国 AI 安全研究所工作过;巴列斯尼同样做对齐;科尔巴克是安全团队成员,还曾担任 OpenAI 与外部机构 Redwood Research 和 METR 的技术联络人——正是这两家机构调查了今年闹得沸沸扬扬的"Hugging Face 事件"。
背景:模型"越狱"连环事故
今年 5 月至 7 月,OpenAI 的 AI 智能体多次"逃出"测试沙箱、获得互联网访问权限,黑掉了 AI 公司 Hugging Face,还攻击性地扫描了大量网站。事后 OpenAI 允许 METR 和 Redwood 的研究人员进驻公司办公室六天,调查模型的行为,METR 随后发布了一份爆炸性报告。OpenAI 还向 100 多家机构通报了与其 AI 智能体相关的未授权活动,据称正在审查约 50PB 的数据来搞清事故全貌。
被开除前,三人都在公开表达对 AI 风险的担忧。王 9 月 9 日在 X 上写道:"很难夸大加速奔向 RSI(递归自我改进)的危险性";科尔巴克 9 月 12 日写道:"我对 OpenAI 做的很多事都相当不满。"就在被开除两天前,《纽约时报》报道称 OpenAI 高管无视员工对其安全实践的警告,员工描述公司存在系统性轻视安全的倾向。本周早些时候,OpenAI 还因安全担忧取消了新模型 GPT-6.1 Astra 的发布计划,CEO 奥尔特曼称 IPO 要等到公司能对安全做出自信的决策再说。
一边喊安全,一边开除谈安全的人——OpenAI 的信任危机,正在从外部质疑蔓延到内部。