教宗方濟各（Leo XIV）於 5 月 15 日簽署了他的首份通諭，題為《Magnifica humanitas》（拉丁文意為「宏偉的人性」）。在其中，他選擇警告社會關於人工智慧（AI）的潛在風險。
這份通諭——一種曾用於向羅馬天主教主教發布，現今旨在作為對所有人發表的道德聲明——是對誰在治理 AI 以及代表誰的診斷（參見 go.nature.com/3qxctvc）。方濟各描繪了 AI 正在集中權力的前所未有的方式。他擔憂，少數私人機構在未經民主授權且超出國家監管框架的情況下，就價值觀如何編碼於供數十億人使用的系統中，做出了關鍵決定。
該文件討論了自主武器、破壞民主話語的穩定性以及 AI 使用對職業的取代。它強調了「演算法統治」（algocracy）的風險——一種由演算法做出先前由人類做出的決策的治理系統。例如，在某些司法管轄區，預測性演算法被用於指導警務策略和量刑決定。
《Magnifica humanitas》值得科學界嚴肅關注。這並非因為教宗對 AI 開發擁有法律或監管權威——他沒有——而是因為該文件標示了一個持續被低估的結構性問題。塑造 AI 系統如何推理、它們優化什麼以及它們嵌入誰的價值觀的能力，是一個政治問題。將 AI 的自我監管視為主要方法——例如，美國目前採取的做法，主要依賴自願的道德承諾而非可執行的法規——與其說是治理，不如說是責任的放棄。一些科學家透過維持其刻意的中立，也對此負有連帶責任。
當學術和政策報告已經標示出這些擔憂時，科學家為何要關注一份宗教文本？當天主教會將其教學權威的全部體系投入到一個社會問題時，通常是因為世俗機構——大學、議會、科學院——未能或不願解決人類共存基礎中的裂痕。例如，在工業革命期間，教宗良十三世（Leo XIII）於 1891 年警告了自動化對工人可能造成的影響，他認為這可能將工人變成可互換的商品。 1930 年代的通諭則回應了極權主義的興起，包括法西斯主義、納粹主義和史達林主義。《Magnifica humanitas》正在敲響同樣的文明警鐘。
到目前為止，大多數政府在制定道德框架和限制時，都將 AI 行業納入其中並受到其影響。《Magnifica humanitas》認為，從 AI 中獲利者不能成為其主要的道德監管者。透過其全球影響力，天主教會能夠透過社群壓力，將道德診斷轉化為政治和法律行動。
我在 AI 治理和神學的交叉領域工作，為聯合國和梵蒂岡的 RenAIssance 基金會提供諮詢。該基金會是由教宗方濟各於 2021 年創立的非營利組織，旨在促進對新技術的人為中心、道德反思。從這個角度來看，我學會了如何解讀教宗的通諭，不是將其視為神學辯論中的立場，而是作為對整個社會的信號——即使它們是對複雜危機的不完美回應。
我曾多年在政策會議中與 AI 開發者、政府部長和國際官員討論治理框架。我最常遇到的知識鴻溝並非技術性的。建造強大 AI 系統的科學家和工程師，通常對工具的能力有極其詳細的了解。他們抗拒——有時無法看到——的是，他們的技術選擇同時也是政治選擇。例如，在社群媒體平台上，工程師會優化內容推薦演算法以獲得最多的點擊量，有時會透過偏好傳達憤怒的帖子。這種選擇是一種政治行為，而非工程決策。
科學家和決策者認真對待這份通諭意味著什麼？這將涉及 AI 研究人員將治理作為一種專業責任來參與，而不是一項公共關係的練習：在機構和出版物中，價值觀問題應與基準性能問題同等重要。這將意味著採用強制性的演算法影響評估，類似於建造發電廠前所需的環境影響評估。在刑事司法、信貸和醫療保健等領域，應部署第三方對 AI 系統進行審計。那些將受到結果影響最大的社群——勞動安排和資訊系統正在被重塑的社群——應該參與設計過程。他們應該在設定 AI 標準的論壇中得到代表，例如聯合國和技術標準機構。
良十三世並未阻止工業資本主義。 1930 年代的通諭也未能阻止極權主義。但它們指出了正在發生的事情，提供了道德判斷的框架，並在數十年來為第二次世界大戰後塑造民主制度的政治解決方案做出了貢獻。《Magnifica humanitas》正試圖為 AI 做同樣的工作。將其視為神學而駁斥的科學家，犯了與那些將早期批判視為感傷干預而駁斥的政治經濟學家相同的錯誤。歷史表明，那並非正確的判斷。