人工智慧（AI）並非真正地「思考」，而是記住我們共同思考的歷程。而我們即將停止提供任何值得記住的內容。

我們正處於人類冗餘時代的邊緣。2023年，IBM的執行長告訴彭博社，不久後約有7,800個職位可能被AI取代。隔年，Duolingo裁撤了十分之一的約聘員工；他們需要為AI騰出空間。Atlassian也跟進了。Klarna宣布其AI助理的 કામ量相當於700名客服員工，並將員工總數減少至2,000人以下成為其北極星目標。Jack Dorsey也坦承希望維持Block的員工人數不變，讓AI來承擔成長的責任。

這個軌跡具有引人注目的內部邏輯。例行性的認知工作被自動化；初級職位減少；生產力逐年累積。對於審查成本結構的董事會來說，這是自內燃機取代馬匹以來最清晰的投資主張，還帶有一種道德動能。他們的想法是，猶豫不決就會落後。

然而，英國一個團隊的研究結果應該讓我們停下來思考。在2024年春季，他們請了約300位作家創作短篇小說。其中一些人由GPT-4協助，另一些人則獨立作業。研究人員想知道，哪些故事會更有創意？平均而言，由AI協助的作家創作的故事，獨立評審員認為比未經AI協助的故事更有創意。

到目前為止，一切都符合預期：一個關於智慧機器不可避免地接管的熟悉故事。但當研究人員檢視所有故事的整體表現，而非個別故事時，情況變得模糊不清。AI輔助的故事彼此之間更加相似。每位作家都得到了個別的提升；但集體而言，他們卻趨於一致。Anil R Doshi和Oliver Hauser在《Science Advances》上發表了這項研究，他們引用了生態學中的一個詞來解釋這種現象：公地的悲劇。

請記住這個結果：個人獲益，集體損失。它描述的遠比寫作實驗更具影響力——它描述了我們與人工智慧整個關係的隱藏邏輯。這也暗示，未來十年最成功的組織將是那些採取一種深刻違反直覺的做法的組織：它們不會利用AI來消除人際互動並大量解僱員工，而是利用AI來創造更多的人際互動。IBM已經扭轉了其早先對人類冗餘的幻想。我敢打賭，遲早會有更多公司跟進。

假設你可以穿越到公元前3000年的埃及，並以完美的象形文字抄寫所有神廟圖書館的內容、所有建築藍圖、所有祭司手冊、所有商業帳簿。然後假設你前往美索不達米亞，並以楔形文字做同樣的事情。整合你能在那個時代的語言中找到的一切，然後用它來訓練一個大型語言模型。完整的Transformer架構、自注意力機制，所有的一切。

結果將是一個具備某種程度智能的系統。它可以根據天文週期預測洪水。它可以起草行政往來信函。它可以生成看似合理的宗教評論。但它將沒有能力進行後來希臘人稱之為「三段論」的推理。它不會留下羅馬法律抽象化的任何痕跡，也不會理解需要再過四千年才會出現的實證方法。

現在，讓我們擴展這個實驗。用公元前300年雅典的書面產出訓練一個新模型：亞里斯多德、歐幾里得、希波克拉底、地中海貿易的商業記錄等。再用公元300年的羅馬、公元1000年的巴格達、公元1500年的佛羅倫斯，最後用現代世界的全部網際網路規模文本生產來訓練模型。

這個鏈條中的每個模型都會比前一個在質量上更聰明。但它不會更聰明，是因為你改變了底層技術的架構（你沒有）。原因是餵養技術的文明改變了。公元前300年的模型將展示其埃及前身無法企及的邏輯推理能力。公元1500年的模型將處理機率和導航計算。而2025年的模型將展現當今前沿系統所特有的論證密度、跨領域推理和多視角複雜性。

這個鏈條揭示了AI產業在很大程度上一直迴避審查的依賴性。大型語言模型的底層智能並非取決於其架構、參數數量或訓練時投入的計算量。甚至也不是關於訓練數據。它是它所消化語言的文明的社會複雜性的函數。

每個時代都通過比單一導師或機器的孤立天才更豐富、更複雜的事物來推進認知前沿。它是通過新的集體解決問題形式來實現的。想想新的機構（希臘的市集、羅馬的法律、中世紀的大學、科學學會、現代公司和社交網路）要求並獎勵越來越複雜的語言使用。

認知人類學家Edwin Hutchins研究了海軍導航團隊實際的思考方式。在他1995年的著作《Cognition in the Wild》中，他寫下了一些今天讀來像是意外預言的話。他觀察到，符號系統是「一個從人類行為者被移除的社會文化系統運作的模型」。

這就是大型語言模型（LLM）的真實寫照，擺脫了所有難以理解的術語和數學奇技淫巧。像ChatGPT這樣的LLM是人類社會推理的模型，但其中人類已被剔除。而矽谷沒有足夠緊迫地提出的問題是：當產生其訓練數據的社會推理開始稀薄時，模型會發生什麼？

2024年，Ilia Shumailov及其同事在《Nature》上發表了一篇標題直白的論文：「AI模型在訓練遞歸生成數據時會崩潰」。他們以驚人的數學精確度證明，在由其他語言模型生成的文本上訓練的語言模型開始退化，部分原因是輸出分佈在連續幾代中變窄。少數觀點、稀有知識、不尋常的表述和邊緣案例視角逐漸消失。模型收斂於一種統計平均值——流暢、合理，但空洞。分佈的尾部首先消失。

考慮一下這些尾部代表什麼。它們是智力分歧、少數專業知識、卡珊德拉式的警告、制度摩擦，以及不同人知道不同事物並以不同方式表達它們的尷尬而寶貴的事實的痕跡。換句話說，它們是社會複雜性的標誌。模型崩潰是作為技術現象呈現的社會思維壓縮。

與此同時，AI研究員Andrew Peterson分析了他所謂的「知識崩潰」：由於廣泛依賴AI生成的內容而對公共知識造成的有害影響。即使對AI來源的資訊打了適度的折扣，公眾的信念與事實的偏差也增加了2.3倍。當人們和組織依賴AI摘要而不是接觸原始資料時，可用的視角多樣性就會變窄。

同樣地，我認為存在一種鄧寧-克魯格效應的變體，它存在於與服務聊天機器人對話的人身上，這些機器人讓他們免於硬性對話的社會傷害。當人們選擇「詢問Grok」來解決Twitter/X上的複雜爭論時，他們正在傳播這種對複雜問題理解過度自信的症候群。當你不必處理損害自尊的分歧的社會調節反饋時，更容易誇大你的知識和理解。當你被一群奉承的機器人包圍時，盲點會變得更大。隨著時間的推移，出現的現象比AI出現前的社交媒體的激進無知更為微妙。這是一種自信、流暢且異常同質化的膚淺知識形式。

Claude的製造商Anthropic（另一個LLM平台）的研究結果顯示，在其平台的使用者互動中，只有8.7%的使用者會停下來仔細檢查機器人說出的內容。這個數字強化了比單純的認知外包和委派更重要的東西。它促成了系統性的過度自信，進而削弱了好奇心、探索精神和對知識前沿的挑戰。

與此同時，Epoch AI的一支團隊估計，可用於訓練的優質人類生成文本的總庫存約為30兆個token，預計將在2026年至2032年間耗盡。這通常被視為資源枯竭問題，彷彿我們像缺水一樣耗盡了數據。但這種框架忽略了更深層次的重點。水庫不僅在被排乾——供給它的泉水也開始乾涸。

2025年初，微軟和卡內基梅隆大學的研究人員研究了319位知識工作者在936項涉及AI協助的真實任務中的表現。他們的發現與生產力敘事所承諾的不符。

在40%的AI輔助任務中，參與者報告完全沒有進行批判性思考。他們對AI輸出的信心越高，投入的認知努力就越少。研究人員沒有使用這個詞，但我會用：他們記錄了思想的自動化，其中探索的摩擦消失了，思維輸出就像從裝配線上出現一樣。

技術很有趣，但人類行為更有趣。幾十年來，我們觀察到人們即使在沒有不堪重負的情況下，也會外包認知工作，並且會預防性地進行，一旦有可靠的助手可用。Lisanne Bainbridge在1983年的一篇論文中就識別出了這種模式，該論文的標題已成為自動化研究人員的一句黑色格言：「自動化的諷刺」。根據Bainbridge的觀點，自動化越可靠，其人類操作員就越不熟練。這是一個我曾在其他形式中掙扎過的深刻悖論：自動化系統越複雜，在它們（必然）發生故障時進行干預所需的技能水平就越高。

Nicholas Carr以抨擊數位時代自動化造成的這些影響而聞名。在同一研究領域，Sparrow、Liu和Wegner通過實驗表明，當人們知道資訊可以通過Google獲取時，他們記憶它的努力就減少了。現在想像一下，一個系統不僅檢索資訊，還按需生成分析、起草論點並產生合理的推理，這種效應被放大了。結果是個人生產力提高，而人類思維的集體步伐開始下降。騎兵跑得更快，但騎兵隊伍覆蓋的地面卻更少。

我們可以進一步闡述這個論點。

如果AI能力取決於人類語言生產的社會複雜性——如果AI的部署通過認知外包、創意產出的同質化以及互動密集型工作的消除系統性地降低了這種複雜性——那麼這項技術將逐漸破壞其自身進步的條件。它的成功，而不是失敗，造成了一個螺旋：它所依賴的基質緩慢衰減，預示著毀滅。

這就是社會邊緣悖論，它所汲取的思想傳統比大多數AI評論所承認的更古老、更跨學科。

Michael Tomasello的演化研究表明，人類認知與其他靈長類動物的區別並非源於個體處理能力的優越性。真正的推動力來自於具有共同目標和互補角色的協作活動能力。他認為，即使是私人思想在結構上也「本質上是對話式的和社會性的」——是互動模式的內化。單純的神經能力遠不足以解釋人類思維的能力。

Robin Dunbar的社會大腦假說量化了這種聯繫：新皮質比例預測了靈長類動物的社會群體規模；語言演化是管理過大而無法透過梳理毛髮來維持的關係的機制。三分之二的對話是社會性的、關係性的、聲譽性的。語言常常被誤認為是資訊管道，但它實際上是一種社會協調技術。

我自己的立場是，集體意圖工程，在像簡單頭腦風暴這樣熟悉的形態中發現，佔據了大多數前沿認知擴展。當今的智能算法並未考慮到這一關鍵功能而構建。

我同意Lev Vygotsky的觀點，即思維是從詞語中湧現的，而不是詞語僅僅是傳達思想的載體。我也同意Andy Clark和David Chalmers關於認知如何本質上延伸到社會和物質環境中的論點。但我自己的主張更強：集體意圖的規範化，在做任何有價值的事情時，都構成了最嚴峻的認知負擔。讓聰明的頭腦圍繞一個問題同步並朝著共同的目標努力，一直是人類心智努力的標誌，無論是建造巨大的金字塔還是登陸月球。一個複雜的願景必須輻射到集體意識中，以產生相互連接的意識，將我們從孤獨的天才（蘋果砸中科學家的頭）帶到最終克服地球引力，飛向火星。

例如，制憲會議不僅僅是一群人交換意見；它是一個非常明確的思考過程，任何個人都無法單獨複製，而今天的AI如果破壞了集體意識，就會對其構成威脅。

這一切對AI意味著什麼，是很直接的。訓練語料庫中的每一個token都是社會互動的化石——協商、爭論、制度意義建構或文化傳播的痕跡。AI系統所展現的智能從一開始就不是個體的。它是在人與人之間的空間中鍛造出來的。

如果由於過度依賴人機互動而導致這些空間萎縮，我們就會遇到麻煩。如果產生豐富語言的互動變得更稀少、更膚淺或更同質化，那麼依賴它們的智能就會緩慢退化。我們不會聽到任何巨響，但我們會注意到隨著時間的推移，一種溫和、幾乎難以察覺的縮小。我們正快速託付未來發現的機器，將在最關鍵的時刻放慢腳步。

Dario Amodei，Anthropic的CEO，於2024年10月發表了一篇長文，題為「Loving Grace的機器」。他設想了一個超級智能AI在科學、治理和人類福祉方面可能取得的成就。他的文章呼應了Leopold Aschenbrenner（前OpenAI研究員，Amodei本人也是）的想法。Leopold幾個月前寫的「情境意識」文章，極具說服力地認為，擴展計算能力和數據量足以在幾年內產生通用人工智能。

然而，儘管這些論文措辭優美且作者技術卓越，但它們卻存在顯著的戰略盲點。Amodei指出了限制因素——安全、對齊、制度準備——但沒有考慮到未來訓練數據的質量本身就是社會決定的，並且可能正在退化。Aschenbrenner的整個框架都假設擴展是主要的限制因素，而對被擴展數據的社會起源卻隻字未提。

Sam Altman的「智能時代」文章，在寫到「社會本身就是一種高級智能」時，最接近承認AI的社會方面。但他的真正承諾有多大尚不清楚。我懷疑這只是一種修辭上的誇張。他甚至沒有問AI的部署是否會侵蝕構成這種智能的社會過程。

這裡概述的社會邊緣框架是Amodei、Aschenbrenner和Altman的直接對比。它是一項行動計劃，旨在反對人類冗餘的幻想。它挑戰了由於過早地將物質資源重新分配給AI願景而產生的自我實現的毀滅性螺旋。我所說的哲學低估了在我們目前的文明能夠從AI進步中獲得實質性利益之前，支持遺留基礎設施的「偉大重編碼」所需的大量人類啟動工作。

我說「偉大重編碼」，是向一個簡單但被廣泛忽視的事實致敬：先進AI模型仍需生產對用戶有用的輸出的絕大多數工具和服務本身並不具備AI的特性，而且大多數是在AI引領的高強度計算時代開始之前構建的。在不起眼但至關重要的PDF解析領域——這是AI消耗大量歷史數據以變得智能的方式之一——研究表明，只有一小部分工具是使用深度學習等技術創建的，這些技術構成了AI時代的特徵。在某些重要情況下，舊工具仍然不可或缺。因此，需要進行大量投資來升級所有或大多數這些工具——從PDF解析器到數據庫模式——以跟上AI對計算能力的需求所驅動的高強度計算步伐。然而，我們還沒有達到AI能夠簡單地創造自身依賴性的階段。

事實上，所謂的「遺留技術債務」據稱阻礙了AI的更快採用，在許多情況下已被揭示為中介和翻譯問題。AI公司正在學習，他們需要僱傭那些深入理解遺留系統的人來指導這項重編碼工作。一個全新的「數字考古學」領域正在興起，其中部署了像ArgonSense這樣的尖端工具，試圖挖掘遺留系統和代碼中潛在的智能，通常是在匆忙的現代化努力失敗之後。在許多情況下，新時代的AI冒險家發現，過時的時代的主機專家仍然至關重要，而多學科的對話和爭論對於在前沿取得進展至關重要。因此，出現了COBOL招聘熱潮這種奇怪的現象。新知識必須不斷地以舊知識為食。

社會邊緣框架認為：是的，擴展很重要，架構很重要，計算也很重要。但如果社會基質——人類互動的複雜、爭論性、制度上多樣化、視角豐富的結構——被允許稀薄，那麼這些因素將無法繼續提供價值。而稀薄是很有可能的。

現在是將許多人認為悖論的部分。

普遍的智慧認為，AI使組織能夠「事半功倍」——自動化例行工作，減少員額，並將節省的資金轉向戰略。社會邊緣框架認為，這種計算可能會以緩慢但確定的方式自我毀滅。

讓我們看看證據。Brynjolfsson、Chandar和Chen追蹤了AI暴露領域中22-25歲早期職業生涯工人的就業結果。自2022年以來，這一群體的就業人數相對下降了13%。看來AI取代了編碼知識（初級工人的主要資產），同時補充了默會知識（經驗豐富的專業人士來之不易的資產）。問題在於，默會知識並非憑空產生。它來自於實際工作：吸收制度規範，透過監督實踐培養判斷力，在可控範圍內犯下昂貴的錯誤。入門級職位可能看起來只是成本項目。但它們實際上是下一代領域專家產生的入口。從這個意義上說，它們是組織核心戰略投資的一部分。移除入口，今天可以省錢。但你也扼殺了未來AI系統將依賴的領域特定、社會嵌入式知識的管道。

Dell’Acqua及其在哈佛商學院的同事發現，使用GPT-4的管理顧問在其能力範圍內將質量提高了40%。在其能力範圍之外——對於需要AI無法提供的上下文判斷的問題——他們的表現下降了19%。這項技術使他們過於自信，而這種自信卻是最不應該有的——任何將AI採用視為簡單替代練習的董事會都應該對此模式感到警惕。

社會邊緣的處方是，那些僱傭更多人在AI豐富、高互動、跨媒介的角色（AI作為學習的腳手架而非替代品）工作的組織，將比那些將技術視為員額削減工具的組織獲得更大的長期優勢。在原始認知吞吐量已被商品化的世界裡，價值曲線轉向了更難複製的東西：以精確、速度和真實深度協調人類意圖的能力。這種優勢在於跨媒介和高度人際互動。

AI產業正在講述一個關於工作未來的類似故事：自動化可自動化的，增強剩餘的，並相信生產力增益將累積成一個更富裕、更高效的世界。

社會邊緣框架講述了一個不同的故事。它說：我們正在自動化的智能從來都不是我們獨有的。它是在對話、爭論、制度摩擦和協作鬥爭中鍛造出來的。它存在於人與人之間的空間中，並且只因為那些空間足夠豐富，留下了值得學習的語言痕跡，才在AI能力中顯現出來。

每次公司自動化一個入門級職位，它就節省了一份薪水，失去了一個學習曲線，除非它進行補償。每次知識工作者在未經批判性參與的情況下將草稿委託給AI，組織記錄的統計稀薄化就以一個難以察覺的增量向前推進。每次組織將拋光過的輸出誤認為是戰略進步，它就消耗了認知盈餘而沒有產生新知識。

這些單獨的行為沒有一個是災難性的。然而，它們的複合效應可能是。

未來十年將蓬勃發展的組織，不是那些AI利用率最高的組織。它們是那些理解了時代鏈式思想實驗所生動展現的內容的組織：AI的能力是人類社會生活複雜性的繼承。而繼承，如果被消耗而沒有再投資，最終會耗盡。這一點尤其關鍵，因為AI正被高度定制以適應我們的組織文化。

在AI方面做出正確的戰略選擇，將成為領導力的決定性特徵。Bloom等人跨國研究長期以來證實，管理質量解釋了團隊、組織甚至國家之間生產力差異的很大一部分。

在AI時代，領導質量的小差異可能產生巨大的結果差異——我稱之為凸領導力，這是一種非線性回報。這個術語借鑒了期權數學，其中凸回報是指其上行潛力加速快於下行潛力減速的回報。凸領導者將認知充裕轉化為結構性野心，從而避免將其創意和發現管道變成停滯的拋光忙碌的池子。相反，在由我們所謂的凹領導者——謹慎、程序導向、優化以避免錯誤——領導的組織中，AI傾向於產生更多的噪音而非信號。由於領導力對我們所有人的生活都產生了巨大影響，因此我們有興趣在這個新時代關注其演變。

社會邊緣不僅僅是一個比喻。它是AI能做得好的事情與由於根本的內部矛盾而將持續掙扎的事情之間的實際界限。此外，該框架要求我們所有人關注AI的投資論點本身如何包含其失敗的種子。它提醒領導者，AI今天的邊緣是由產生其學習數據的社會世界的豐富性所決定的。