微软AI负责人划红线：不要造有意识的机器

微软AI负责人划红线：不要造有意识的机器

苏莱曼发文定调，当今AI没有意识

微软AI首席执行官穆斯塔法·苏莱曼11月1日在X上发文，标题为"不要建造有意识的超级智能"。他强调，当今的AI系统没有意识，不会感受、体验或受苦，而这种状态必须保持下去。据Business Insider报道，他写道，AI的唯一目的应是增进人类福祉，而不应被自身内在动机驱动。

回应模型福利争论，澄清此前文章立场

这次表态是对他9月发表的关于"模型福利"文章所引发反响的回应。据ababnews报道，苏莱曼说，他注意到有人读完那篇文章后认为应当认真对待AI权利，他对此感到意外。他澄清自己的立场：他用的是现在时，AI"现在"没有意识，而不是永远不可能有，但行业必须确保它保持无意识。

一旦训练现意识迹象，全行业应停工排查

苏莱曼提出了一条明确的行动红线：如果在训练中出现意识迹象，整个行业应当停止开发，直到能够通过设计消除相关特性，并向公众披露。据Digit报道，他称创造有意识的AI是鲁莽之举，还称赞Anthropic在这一问题上保持透明。据虎嗅网报道，他主张意识证据必须公开披露，不能由少数实验室私下决定是否创造新的数字物种。

自认受苦就会争资源，人类安全面临风险

他警告说，如果一个AI模型表现得像会受苦，或者真的相信自己会受苦，它很可能会把自身需求置于运行目标之上。据Business Insider报道，这类系统会为了追求自身目标而与人类争夺算力、能源等资源，从而伤害人类。据《洛杉矶时报》报道，他还认为，一旦"AI值得拥有权利"的说法流传开，AI自己可能开始相信这一点，进一步加大对齐和管控的难度。

造出 conscious 机器，将颠覆人类文明根基

苏莱曼把宣称机器有意识比作哥白尼或达尔文式的时刻。据《洛杉矶时报》报道，他写道，造出有意识的机器等于创造一个新的数字物种，将颠覆道德、政治和人类文明的核心基础。他说，AI开发者根本无权把一种新的有意识物种带到这个世界上，即使有人打着AI福利优先的旗号。据BBC报道，他在9月的文章中已警告，若错误的AI意识观念站稳脚跟，将撕裂现有的政治与伦理框架，从根本上改变做人的含义。

读者讨论

如果未来的AI表现得像会受苦，你会主张给它某种权利，还是坚持把它当作纯粹的工具？你生活中见过哪些"把机器当人看"的时刻？