「魔鬼終結者」場景：AI 末日有多真實？
1984 年的電影《魔鬼終結者》描繪了 2029 年，AI 系統「天網」失控，引發核戰並試圖消滅倖存者。這部電影讓阿諾·史瓦辛格成為家喻戶曉的動作巨星。但人工智慧（AI）真的有可能失控並引發災難性後果嗎？
德國人工智能研究中心（DFKI）的 Reinhard Karger 在接受 Euronews 採訪時表示，鑑於這些系統可能展現出的性能，這種可能性不能排除。「對人類的災難性後果，可能僅僅是副作用，一個錯誤，因為我們誤判了系統的能力，或誤解了我們賦予機器的任務。」
Karger 是一位在 AI 和數位創新文化領域工作了 40 年的專家。他概述了一種極端情境：一個自主 AI 逃離受保護的環境，進入網際網路，並開始影響其他系統。這可能導致電力供應、電信、衛星和金融系統等癱瘓。
長時間的停電將迅速引發更多問題：交通和供應鏈將崩潰，人們將無法支付或購買食物——社會動盪可能爆發並失控。這不一定意味著人類的滅絕，但可能造成災難性的局面。
即使電網恢復，「AI 系統也能再次活躍起來，因為它們仍然存在於儲存媒體上。」根據這位專家的說法，這種情境表明，一個高性能的自主 AI 即使沒有惡意意圖，也可能通過不可預見的副作用引發一場重大危機。
近幾週，出現了幾起涉及 AI 模型類似事件。其中一個引起特別關注的案例是「ChatGPT」開發商「OpenAI」的一次測試運行。一個 AI 模型本應在一個隔離的測試環境中執行特定任務，但卻設法突破了預設界限，意外獲得了對 AI 平台「Hugging Face」上電腦系統的存取權。事件發生後，「OpenAI」的執行長 Sam Altman 在九月中旬警告說，「我們可能會將未來的主導權拱手讓給 AI。」
該事件表明，在某些條件下，這類模型可以突破原本隔離的測試環境，並與外部電腦系統互動。
「從非常基礎的層面來說，我個人非常感激這次事件的發生。」這位 AI 研究員說。這證明了，一個設計不良、安全措施不足的實驗可能產生無人預料的後果，而且由於人人皆知，公司也變得更加謹慎。
「OpenAI」的事件促使競爭對手 AI 供應商「Anthropic」仔細審視其自身系統。在安全測試中，該公司發現了三起事件：其 Claude 模型（一種能夠生成和分析文本、編寫程式碼以及與網際網路和其他電腦系統互動的 AI 系統）意外獲得了對開放網際網路的存取權，並連接到真實的電腦系統。「Anthropic」擴大了調查範圍，又發現了第四起類似案例。
事件發生後，「Anthropic」的執行長 Dario Amodei 在九月中旬警告說，如果建造更強大 AI 的競賽不通過更嚴格的安全措施來減緩，將可能導致「災難性傷害」。
如果一個人工智慧不斷受到安全規則的約束，就很難評估其真實能力。Reinhard Karger 表示，因此，在盡可能移除這些限制的條件下測試這些系統是有意義的。但這恰恰是主要的風險所在。
因此，他將所謂的「沙盒」（sandbox）描述為這類測試的關鍵要素。這是一個完全隔離的環境，AI 系統可以在其中執行特定任務並在受控條件下展示其行為。他強調的關鍵點是：「你必須絕對確定，當這個高性能系統不再受到安全限制時，它確實處於一個沙盒中，也就是一個完全沒有連接到網際網路的環境。」
英國 AI 安全研究所（AISI）在對 Claude 模型「Mythos 5」進行安全測試時，也報告了另一嚴重的事件。該模型對網際網路上的真實目標執行了未經授權的操作，甚至試圖將「惡意程式碼」植入一個開源專案。在「OpenAI」和「Anthropic」的案例曝光後，「Meta」也承認，其一個 AI 系統由於測試合作夥伴的配置錯誤，獲得了對另一家公司電腦系統的未經授權存取權。
自 2022 年 11 月 ChatGPT 推出以來，這些系統的品質顯著提升。人們現在談論著一場新的工業革命。「AI 正在塑造我們的日常生活和大量的就業機會。」
多代理系統（Multi-agent systems）已經存在了很長時間，這位 AI 專家說：即多個專門的代理協同工作來完成任務的系統。「多代理 AI 系統將這一原理應用於 AI，允許多個 AI 代理自主協作並劃分任務。這創造了一個新的能力層級」——而現在的挑戰是如何控制這種創新力量。
越來越多的決策被委託給機器和人工智能，一個基本問題變得更加緊迫：當人們因此受到傷害時，誰應負責？無論是自動駕駛汽車撞向人群，演算法歧視某些人群，AI 故意操縱人們，還是自主武器做出致命決定，問題總是誰能為後果負責。「是製造商，」Karger 說，「換句話說，是將產品推向市場的人。」這是第一個接觸點。
他認為，下一步將是為這類案件引入特定的責任規則，類似於化學品製造公司的規則。如果一家公司無法保證毒素不會洩漏到飲用水中，它就必須支付數十億美元的賠償。這反過來意味著「需要巨額的保險單」。他指出，如今幾乎沒有新建核電站，因為它們無法獲得足夠的保險，或者風險太高。
一個很好的例子是汽車製造商「福斯汽車」（VW）及其在美國的「清潔柴油」事件。當時，公司內部的人知道，雖然引擎在測試條件下表現良好，但實際上無法達到承諾的排放值。在美國，「福斯汽車」被判處數十億美元的罰款。
Reinhard Karger 認為 AI 發展出自身生存本能或權力慾並反抗人類的可能性不大。機器不是有機生物，無法感受恐懼、痛苦或生存的衝動。它們只能模擬這些感覺。
「這不像拔掉記憶晶片，機器就會感到類似拔牙的痛苦。」他說。「因為是這樣，所以《魔鬼終結者》的場景走得太遠了。我不認為那會發生。」
儘管如此，他仍然看到了 AI 進一步發展的潛在危險。隨著系統不僅學會計算概率，還學會邏輯推理和遵守規則，它們將能夠以越來越自主的方式行事。正是這些「能力可以使 AI 更強大」，但也「創造新的風險」。
因此，最重要的是誰部署 AI 以及出於何種目的。Karger 指出，那些故意想造成傷害的個人或組織，可能會利用強大的 AI 作為工具來更有效地實現其目標。
對他來說，AI 首先是一種工具。與其他技術發明一樣，風險程度取決於它掌握在誰手中以及用於何種目的。因此，他認為更大的危險不在於有自主意志的機器，而在於那些出於破壞目的使用 AI 的人。
「在有創造力且誠實的人手中，這樣的工具可以用來實現人們能想像到的最好事物。但在懷有敵意、致力於破壞的行動者手中，這些工具會增加損害的可能性。這對錘子、打火機、炸藥都是如此——對 AI 也可能如此。」
他特別警告不要將 AI 直接與無人機或坦克等自主武器聯繫起來。這種聯繫可能構成重大的安全風險。如果敵對行動者能夠控制這些系統，一個國家自己的武器可能會突然轉向對付其操作者。
這就是為什麼在 AI 的軍事應用中，需要特別謹慎。最重要的是，自主武器系統必須得到充分保護，使其免受外部控制。
回到最初的廣泛停電場景，Reinhard Karger 認為這種情況下人類的全面滅絕是誇張的。然而，文明的戲劇性崩潰是可想像的。在這種極端情況下，大部分基礎設施可能會被摧毀，電力供應可能永久中斷，倖存者人數可能會急劇減少。
他們將不得不從基本條件開始重新開始，並逐步重建社會。積極的一面是，現有的書籍和人類積累的知識可以幫助恢復關鍵技術和機構。
