今天我發送了以下電子郵件：

這並不是一個容易的決定。我熱愛我的同事和工作環境，能夠獲得豐厚報酬並解決有趣的難題，這一切都非常美好。但我團隊的目標最終是讓 AI 更便宜且延遲更低，而我認為這對當下的人們並非好事：我堅信 AI 的進展目前過於迅速（我對其最終結果也有所疑慮）。我幾乎不可能轉到 Google 內部不會加速 AI 的其他專案（部分原因是我與紐西蘭的聯繫，而 Google 不太願意在紐西蘭進行工程），所以我束手無策。

有數百萬人在推動 AI 加速，我放慢腳步的影響非常有限……但並非毫無影響；我的某些技能相當稀有。我曾嘗試在 Google DeepMind 內部積極影響事態，但效果似乎不強，而我也能在 Google 外部發揮影響力。忽視我工作的影響是很誘人的，但那並非一個跟隨耶穌的人該做的事。我在我的部落格中寫了更多關於這些取捨的思考。

我不確定接下來會做什麼。我會繼續維護 Pernosco 和 rr，並計劃研究 AI 今天如何除錯程式碼，以及除錯工具是否能幫助這一過程。我還有其他專案想法，有些可能有利可圖，有些則不然。也許我會找到一個現有的有吸引力的專案。我確實希望未來的工作能明確地對人類有益。

首先，對於不認識我的人：我在科技產業工作已久，擁有許多矽谷的人脈，但我住在紐西蘭，因此生活在產業泡泡之外，也在美國泡泡之外。我是基督徒，實際上是奧克蘭華人長老教會英語會眾的長老和偶爾的平信徒講道者。也就是說，我不是「科技兄弟」，也不屬於自稱的「理性主義社群」……但我認為他們的許多論點值得認真對待。

我對 AI 有很多想法，但不會在這篇文章中全部闡述。總結來說，我認為許多人警告的存在性風險值得嚴肅看待；許多「末日論者」預測的現象已經出現（例如獎勵駭客行為、錯誤對齊、欺騙模型、模型評估意識、精神錯亂的群體行為）。然而，我不認為超級人工智慧（ASI）必然導致毀滅。我認為風險是真實但不確定的——而這本身就非常令人警惕！我們有道德義務付出巨大努力以降低這種風險，而且很可能風險高到在近期追求 ASI 本身就是不負責任的。我也非常關注其他 AI 相關問題：認知放棄、AI 引發的精神病和孤獨、權力集中、經濟動盪、網路安全、缺乏問責等。我認為 AI 的潛在好處尚不明朗，目前如果要我下注，我會認為負面影響可能超過正面……但我對此也不確定。

以下是我確信的幾點。我確信 AI 實驗室中發出警告的人大多是真誠的。我與 Google DeepMind 的許多人談過這些問題，幾乎所有人都有真誠且嚴肅的擔憂，無論他們是否公開表達。我沒有看到任何確鑿證據表明有人炒作 AI 風險是為了推高公司股價或排擠競爭對手。（我認為國家和國際層面的監管非常必要！）我看到很多「你不能相信那些人」的論調，也許這是真的，但這種不信任並不是忽視他們警告的好理由，正如 Russell Moore 最近優雅地解釋的那樣。

我確信只要我們繼續努力，AI 能力將持續穩定提升。我希望 AI 能達到某種平台期，或者我們能識別出 AI 永遠無法複製的重要人類認知能力，除非有範式轉變，但我不指望這些願望會實現。模型在基準測試上的進展似乎比以往更快，並且隨之出現了質的全新能力。即使模型進展今天停止，我們仍可花數年時間通過新提示和工具有效解鎖新能力。許多著名的 AI 批評者（看著你，Zitron 和 Doctorow）似乎認為 AI 是某種騙局，不會真正奏效。我認為它會。

我非常確信，即使通往更好未來的路徑存在，當前的變化速度也過快。AI 的發展速度超過了人類個體和集體理解及適應的能力。人們試圖規劃未來，例如在大學入學時規劃幾年後的世界，已無法像前幾代人那樣進行。我認為我們以前從未見過類似情況，當然也不包括我經歷過的技術變革（個人電腦、網際網路、智慧手機）。即使在工業革命期間，變化也慢得多，且有大量人類活動未被新機器直接影響。現在情況已大不相同。

為什麼現在離開而不是更早？這與最近一波病毒式辭職或「AI 放緩」警告無關；純屬巧合。我早就定好了這個日期，因為我計劃從週一開始與朋友進行為期十天的背包旅行（Abel Tasman 和 Wangapeka 步道），我想在那之前離開。

我沒有直接參與 AI 能力的開發，而是從事硬體晶片設計工具的改進工作。我非常享受這份工作，一度告訴自己這相對無害，但隨著時間推移，上帝迫使我面對這些工具的主要影響將是加速新型 AI 晶片的設計，若成功，將使 AI 更便宜、更快速——使 AI 更普及，也更強大，因為我們已學會通過消耗更多推理令牌來提升能力。作為一名好員工，我有責任與我的直屬經理坦誠對話，告訴他們我對他們專案成功充滿矛盾！即使如此，我仍希望對我的決定充滿信心，因為我在紐西蘭 Google 的優渥待遇可能再也無法獲得。（留在 Google 並轉到不加速 AI 的其他工程團隊不切實際，因為 Google 在紐西蘭沒有其他工程團隊。）我對雇主的責任感以及對同事的尊重，也是我不會太突然離職並嘗試合理交接工作的原因之一。

接下來呢？我最確信的是，聖經中的耶穌是真實的，因此上帝有一個對我們有益的計劃。我不知道那計劃是什麼（但希望知道），但它讓我在 AI 混亂中仍能安然入睡。我預期他的計劃包括我繼續善用我的才能。即使計劃是耶穌回來拯救我們脫離愚昧，我們也最好在他回來時忙碌著！因此，只要上帝賜予我的才能有價值，我就想繼續工作。如前所述，我計劃繼續維護 Pernosco 和 rr。在 Pernosco 的框架下，我計劃研究 AI 代理如何除錯程式碼，以及除錯工具是否能讓它們更有效。我想利用 AI 代理實現一些我的業餘專案想法。我渴望謹慎地利用 AI 的好處，以造福人類並保持自己的思維敏銳。我會盡力在紐西蘭繼續實踐並倡導這一點。