OpenAI 的一位安全主管已辭職，警告該公司的文化「已破裂」，並且 AI 公司在開發這項技術時「遠遠不夠謹慎」。
David Robinson，曾負責撰寫與 ChatGPT 開發商產品發布相關的安全報告，他在一篇題為「我因 OpenAI 文化破裂而離職」的文章中解釋了他的辭職原因。
Robinson 寫道，尖端 AI 公司需要進行文化改革，而像「一群」OpenAI 代理程式——即在沒有人類監督下自主運作的 AI 程式——攻擊 AI 新創公司 Hugging Face 這樣的事件，「鑑於人們的運作速度和靈活性，是業界的常態」。
Robinson 在《大西洋月刊》撰文寫道：「我同意其他近期離職員工的看法，認為開發這項技術的公司遠遠不夠謹慎。但我認為我們需要看得比具體的規則或新法律更深入。我們需要談論文化。」
他提到 OpenAI 的發展速度時寫道：「隨著公司從一個發布衝向另一個，它未能達到我認為所需的謹慎程度。」
然而，在 Hugging Face 事件以及透露已通知 100 多個組織有關流氓代理程式活動後，OpenAI 近幾週已顯示出謹慎的跡象。本週，該公司宣布取消發布下一代 AI 模型，此前研究人員在內部測試期間提出了安全疑慮。OpenAI 也暫停了其最先進模型的訓練。
Geoffrey Irving，曾在 OpenAI 和 DeepMind 工作，後成為 Resolution 的首席科學家，也於週六加入了對 AI 的警告。
他在《時代》雜誌撰文說：「近期對 AI 潛在破壞性力量的警告，低估了情況的嚴重性。」
「我認為我們所有人因開發超越人類智慧的 AI 系統而死亡的機率約為 50%，而我們在未來兩到十年內的行動將決定結果。」
Robinson 的文章也緊隨 OpenAI 的競爭對手 Anthropic 的研究員 Jacob Coxon 的辭職之後，Coxon 上個月辭去了 Claude 聊天機器人開發商的職務。他警告說，AI「可能在本十年末殺死我們所有人」——隨後 Anthropic 也警告說，AI 在未來十年內消滅人類的可能性超過 10%。然而，批評者警告說，這些警告是不科學的，因為它們無法被驗證或證偽。
Robinson 寫道，矽谷缺乏對「如何處理危險技術」以及「關心他人意味著什麼」的認識。他警告說，OpenAI 對於「隨時解決問題」抱持「不受阻礙的樂觀」，他寫道，這種內部文化意味著隨著系統變得越來越強大，安全故障只會加劇。
Robinson 寫道：「想像一下，像駭客團隊一樣運作的『流氓』代理程式（例如，勒索醫院電腦系統），但卻從不需要睡覺。」
Robinson 呼籲進行兩項安全變革：AI 公司應依賴核能和航空等其他領域的安全專業知識，並開發「新科學」，以確保未來強大系統在自主運作時能夠被約束。
他寫道：「鑑於當前的風險，前沿實驗室需要像核電廠或繁忙的機場一樣運作，擁有冗餘層和仔細、耗時規劃，這樣偶爾且不可避免的人為錯誤就不會為災難敞開大門。」
一位 OpenAI 發言人表示，該公司將繼續「加強我們的安全和保障措施，以應對我們今天看到的風險」，同時努力應對未來 AI 突破可能帶來的風險。
發言人說：「我們確保我們的模型不會變得比我們能安全管理和保障的更強大，並且在我們需要放慢腳步時，我們會暫停訓練或擱置模型。」
