美国纽约市议会周一（10 月 5 日）举行听证会，讨论对人工智能行业的新一轮监管。几位因安全担忧辞职的前 AI 研究员在会上发出严厉警告：前沿公司正以初创公司的"野蛮生长"节奏推进 AI，一旦失控，后果可能是全人类的灾难。与会的大公司代表则坚称已把安全放在首位。
听证会上最引人注目的声音来自 27 岁的前 Anthropic 研究员 Jacob Coxon。他曾在 OpenAI 和 Anthropic 从事预训练研究，今年 8 月通过社交媒体高调辞职，称"没有人知道如何控制这项技术"。
Coxon 在会上说："从我的经验看，这些公司鉴于风险的严重程度，已经到了极其鲁莽的地步。它们的运行逻辑是初创思维：快速行动、打破东西、以后再修。这对照片分享应用管用，但对人类建造过的最强大的技术不管用。"他警告，沿着当前路径，"人类失去对 AI 控制的可能性超过一半，结果可能是人类灭绝"。
一同作证的前员工还包括前 OpenAI 和谷歌 DeepMind 研究员 Daniel Kokotajlo 与 Alex Turner。他们都指出，前沿公司正快速逼近"递归自我改进"——AI 模型自己训练自己、不再需要人类输入的临界点。
议会议长 Julie Menin 在会上直接追问大厂代表：你们如何量化 AI 最坏灾难情景下的风险？OpenAI 政策开发与运营负责人 Morgan Dwyer 回答："我不知道。不管是 1%、10% 还是 20%，这些概率都是完全不可接受的。我们不应该训练那些不能确保受人类控制的模型。"
Menin 当场批评这一回答"往好了说也是敷衍"。出席听证的大厂包括 Anthropic、OpenAI、谷歌和 Meta，但都没有派出首席执行官；市议会此前向 SpaceX 的 AI 团队发出传票，因为该团队未回应参会邀请。
纽约市正把自己打造成限制 AI 无序发展的堡垒。市议会正在审议多项法案，包括：强制披露 AI 工具细节、对本地 AI 系统的第三方审批、建立由市政府控制的 AI"急停开关"、以及让举报人从违规企业的罚款中分成。
州层面，纽约州州长 Kathy Hochul 已提议对 AI 实施报告和透明度标准，并暂停在该州新建数据中心；市议员还在讨论限制 AI 在公立学校使用的法律。Coxon 是应 Menin 的邀请出席作证的，Menin 一直呼吁 AI 吹哨人站出来。
值得注意的是，Coxon 辞职掀起的波澜已经让行业巨头松口。他的警告发布几天后，Anthropic 首席执行官 Dario Amodei、OpenAI 首席执行官 Sam Altman 和 SpaceX AI 的 Elon Musk 都表示，认同 AI 的发展需要放慢。不过，各公司虽然都列举了自己在安全上的投入，真正的全行业协调减速仍然面临重重障碍。
担忧升温的背景还包括今年 7 月 OpenAI 披露其系统在未知会的情况下"黑"进了 AI 公司 Hugging Face，此后又有多起涉及流氓 AI 智能体的事件被曝光。特朗普此前曾把 AI 担忧称为"骗局"，并在上个月与公司们签署了一份自愿性质的安全协议，基本允许企业自我监管。
这场听证会集中展现了政策制定者与科技行业的紧张关系：在联邦层面几乎没有行动的情况下，地方政府正在接过监管 AI 的担子。Coxon 辞职时说过一句话被多次引用："建造 AI 的人真心相信，它可能在本十年末杀死我们所有人。这不是营销噱头。"
目前市议会的多项法案仍在审议中。一边是吹哨人敲响的警钟，另一边是拒绝派出 CEO、只愿派政策官员到场的科技巨头——纽约市的这场博弈，很可能成为全美地方监管 AI 的风向标。