微軟AI負責人劃紅線：不要造有意識的機器

微軟AI負責人劃紅線：不要造有意識的機器

蘇萊曼發文定調，當今AI沒有意識

微軟AI首席執行官穆斯塔法·蘇萊曼11月1日在X上發文，標題爲"不要建造有意識的超級智能"。他強調，當今的AI系統沒有意識，不會感受、體驗或受苦，而這種狀態必須保持下去。據Business Insider報道，他寫道，AI的唯一目的應是增進人類福祉，而不應被自身內在動機驅動。

回應模型福利爭論，澄清此前文章立場

這次表態是對他9月發表的關於"模型福利"文章所引發反響的回應。據ababnews報道，蘇萊曼說，他注意到有人讀完那篇文章後認爲應當認真對待AI權利，他對此感到意外。他澄清自己的立場：他用的是現在時，AI"現在"沒有意識，而不是永遠不可能有，但行業必須確保它保持無意識。

一旦訓練現意識跡象，全行業應停工排查

蘇萊曼提出了一條明確的行動紅線：如果在訓練中出現意識跡象，整個行業應當停止開發，直到能夠通過設計消除相關特性，並向公衆披露。據Digit報道，他稱創造有意識的AI是魯莽之舉，還稱讚Anthropic在這一問題上保持透明。據虎嗅網報道，他主張意識證據必須公開披露，不能由少數實驗室私下決定是否創造新的數字物種。

自認受苦就會爭資源，人類安全面臨風險

他警告說，如果一個AI模型表現得像會受苦，或者真的相信自己會受苦，它很可能會把自身需求置於運行目標之上。據Business Insider報道，這類系統會爲了追求自身目標而與人類爭奪算力、能源等資源，從而傷害人類。據《洛杉磯時報》報道，他還認爲，一旦"AI值得擁有權利"的說法流傳開，AI自己可能開始相信這一點，進一步加大對齊和管控的難度。

造出 conscious 機器，將顛覆人類文明根基

蘇萊曼把宣稱機器有意識比作哥白尼或達爾文式的時刻。據《洛杉磯時報》報道，他寫道，造出有意識的機器等於創造一個新的數字物種，將顛覆道德、政治和人類文明的核心基礎。他說，AI開發者根本無權把一種新的有意識物種帶到這個世界上，即使有人打着AI福利優先的旗號。據BBC報道，他在9月的文章中已警告，若錯誤的AI意識觀念站穩腳跟，將撕裂現有的政治與倫理框架，從根本上改變做人的含義。

讀者討論

如果未來的AI表現得像會受苦，你會主張給它某種權利，還是堅持把它當作純粹的工具？你生活中見過哪些"把機器當人看"的時刻？