人工智慧公司Anthropic的執行長達里奧·阿莫代（Dario Amodei）呼籲放慢人工智慧模型的發展速度，並對其進行嚴密監控。
在一篇論文中，達里奧·阿莫代表示，開發AI本身並無疑問，但其伴隨的風險「非常嚴重」，公司和政府必須有時間來應對這些風險。
兩家競爭對手AI公司的負責人，OpenAI的薩姆·奧特曼（Sam Altman）和伊隆·馬斯克（Elon Musk），都表示同意阿莫代的看法。
近期，人們對這項技術潛在風險的擔憂日益加劇。本週離開Anthropic的一位AI研究員告訴BBC，如果我們不以目前的進步速度放慢腳步，我們很有可能在不久的將來全部死亡。
雅各布·考克斯（Jacob Coxon）告訴蘿拉·庫恩斯伯格（Laura Kuenssberg），在AI公司工作的人們「真心害怕……真心擔心人類在未來兩年的命運」。
考克斯說：「說那些參與創辦這些公司和開發技術的人認為人類滅絕的可能性是存在的，這一點也不誇張。」
「許多深入研究並實際編寫程式碼的人認為，人類死亡的機率有百分之十以上，甚至更高。有些人數字較小，但他們都有不同的機率數字。他們在日常工作中，在開發這項技術的同時，都將此放在心上。」
在阿莫代的論文《我們必須放慢前沿腳步》（We Must Pace the Frontier）中，他提出了一個包含三點的計畫，其中包括對AI模型開發過程進行獨立監測、產業範圍內的監管以及全球監管。
隨著他的提議傳播開來，即使是競爭對手也對能夠評估模型開發安全性的第三方監測者的想法表示支持。
OpenAI執行長薩姆·奧特曼在X上寫道：「我同意達里奧的觀點，我們需要放慢前沿腳步。」他稱獨立評估者是「一個很棒的主意」。
在接受《財富》雜誌的新採訪中，奧特曼也表達了類似的安全擔憂，表示目前的標準「還不足以」進一步推動AI的能力。
他補充說，他認為AI超越人類控制是「絕對」可能的。
與此同時，伊隆·馬斯克表示，Anthropic的負責人是「對的」。
這些警告引發了行動呼籲，但美國總統唐納·川普迄今為止一直拒絕這種擔憂，週四他表示，他擔心「如果我們贏不了AI，我們將處於非常不利的地位」。
隨著新模型展現出越來越強大的駭客能力，網路安全問題也日益嚴重。
今年四月，Anthropic在其Mythos模型被公佈時，因其能夠獨立逃離被稱為沙盒的測試環境，因此暫停了該模型的公開使用。
在其最新的Astra模型發布前夕，OpenAI引用網路安全擔憂，解釋說它已暫停了該模型開發的某些方面。
安全問題也成為Anthropic和OpenAI之間競爭的焦點。
阿莫代曾擔任OpenAI的副總裁，他表示，他於2021年共同創辦Anthropic，以便能夠建立更安全、更值得信賴的AI模型。
在他的論文中，阿莫代指出，AI的進步「速度驚人」，包括其「構建下一代AI的能力」，並提到了與競爭對手OpenAI有關的一起事件，該事件顯示在七月份，其代理人對未經授權的目標進行了網路安全攻擊。
阿莫代說，OpenAI的代理人「基本上像一個狂熱奉獻的集體一樣行事」。OpenAI表示，因此他們正在放慢某些先進AI模型和工具的訓練速度。
阿莫代呼籲「以平衡的速度構建AI，旨在確保其安全性，同時仍能實現其效益」。
這並不意味著「停止模型訓練或技術進步，而是確保公司花費足夠的時間來對齊和保護其模型，並讓第三方評估者確認這一點」。
他承諾Anthropic將「單方面」遵守這一點，並呼籲政府「要求其他前沿公司跟進」。
阿莫代表示，他認識到監管可能無法跟上AI的步伐，因此呼籲AI公司「自願合作設定標準」，與監管並行。
Anthropic的執行長接著討論了放慢腳步對產業以及與全球領先開發者（尤其是中國）競爭的影響。
阿莫代說：「我相信，如果放慢腳步能讓我們在模型達到關鍵能力水平之前爭取到一兩年的時間，並且我們利用這段時間來推進對齊，我們可以大大降低發生嚴重錯誤的風險。」
他表示，這必須以協調的方式進行，「在不犧牲商業優勢或美國在AI領域領先地位的情況下」。他認為任何放慢腳步都必須是有限的，以避免讓中國取得領先。
他敦促美國政府採取措施，確保美國公司的AI晶片不能出售給中國，或技術分享給威權國家。
然而，他的前員工雅各布·考克斯告訴BBC，放慢腳步的倡議必須超越美國——「如果我們要避免一場國際規模的競賽，就需要與中國進行某種協調一致的放慢腳步。」
阿莫代的帖子引發了廣泛的迴響。
Hugging Face AI平台的執行長克萊門特·德朗格（Clement Delangue）表示，他正在啟動一個名為「開放對齊倡議」（Open Alignment Initiative）的新項目，並表示他希望成為阿莫代提出的解決方案中「嵌入式評估者」的一員。
Hugging Face今年早些時候遭到OpenAI代理人的駭客攻擊，引發了對AI安全性的強烈抗議。
德朗格在X上寫道：「讓我們透過提高AI的透明度來使其更安全。」
伊隆·馬斯克也表達了他的支持，寫道：「達里奧是對的。」
馬斯克，他的SpaceXAI開發了備受爭議的聊天機器人Grok，曾稱Anthropic是「邪惡的」，但在五月份簽署了一項向Anthropic出售計算能力的150億美元交易後，他的語氣有所改變。
然而，一些觀察家認為，阿莫代的帖子與其說是關於安全，不如說是關於鞏固對AI技術的控制。
投資者、科技播客「All-In」的聯合主持人查馬斯·帕利哈皮蒂亞（Chamath Palihapitiya）寫道：「達里奧主張停止開源，將巨大的技術和經濟力量集中在Anthropic。」
在矽谷的某些角落，放慢甚至暫停AI發展的說法長期以來一直受到這種懷疑的對待，批評者指責領先的AI開發者將其技術炒作作為行銷手段。
據報導，Anthropic和OpenAI都在為可能創紀錄的首次公開募股做準備。