自美國Anthropic公司最尖端人工智慧（AI）「Claude-3」登場（2026年4月）以來，超越人類能力的「超智能」AI已變得一蹴可幾。在國家與企業間的開發競賽加速之際，其脫離人類控制的風險也日益受到關注。

美國非營利組織「生命未來研究所（FLI）」的共同創辦人、理論物理學家安東尼·阿吉爾教授，對AI帶來的風險發出警訊，主張我們必須重新審視對先進AI開發的態度。

AI可以被視為「電腦的新用途」。與遵循具體指令精確運作的傳統電腦不同，AI只要使用者設定目標，就能自行導出答案，具有極高的通用性。

然而，AI也存在缺點。由於不需要展示導出答案的過程，我們無法精確預測AI為了達成目標究竟會採取何種具體行動。隨著能力提升，大規模且強大的運作將擴展其可執行的範圍，但其行為將變得更加不明確。

FLI於2023年公開了一封呼籲暫停下一代AI開發的聯名信，阿吉爾教授本人也是主要執筆人之一。當時，美國OpenAI公司剛發布了最新的生成式AI模型「GPT-4」，並明確走向普及化的軌道。

高度發展的AI內在蘊藏著安全性、人類的替代，以及失控這三大風險。若被惡意利用，可能用於網路攻擊、大規模毀滅性武器的開發，或透過煽動支持恐怖主義等，使人類社會面臨危險。同時，人類應承擔的角色與能力也可能被AI複製並取而代之。當我們將決策權越來越多地交給AI時，其行為將變得更加難以預測。

鑑於這些風險，我們主張在衝刺極其強大的AI開發競賽之前，應稍作停頓，建立某種體系。這是為了爭取時間來研擬AI相關的法規，並確保AI能以更安全、帶來更大效益的方式進行開發。

最尖端AI的登場，正為人類帶來新的威脅。我們今後應如何應對？將聽取各界專家的意見。