十多年前,我曾領導一個美國核電廠首創的全數位控制系統的控制設計。理論上,這是一台精密的機器——設計成能像現代噴射客機一樣自行運作,操作員只需監控系統,系統很少需要他們介入。我們做了一個在注重效率的觀察者看來是倒退的決定:我們刻意在系統可以自行執行的程序中保留了手動操作步驟。
我們當時在解決一個具體問題。一個只會監督自動化的操作員,會逐漸停止成為一個真正意義上的操作員。他的雙手會變得生疏,對電廠實際運作的心理模型也會變得模糊。然後,就會有那麼一天,自動化系統需要將控制權交還給人類。這總是情況最糟的一天,因為自動化系統只會在它感到困惑或遇到麻煩時才會停止運作。但到了那時,坐在椅子上的人已經多年沒有真正操作過這套設備了。保留手動操作步驟是為了讓人類保持熟練。這是刻意設計的低效率,是故意的。
碰巧的是,那座核電廠從未建成。它被擱置了,原因與美國核能的政治和經濟因素有關,與工程本身無關。但這種設計思維延續了下來,我越來越相信,這是我能為目前充斥於各大會議室的爭論提供的最有用的觀點:當 AI 接管了過去用來培養專業技能的工作時,人類的專業技能會發生什麼?
數據的趨勢已難以迴避。哈佛大學的一份研究報告涵蓋了美國超過 28 萬家企業的約 6500 萬名員工,發現企業採用生成式 AI 後,在六個季度內,初級職位就業人數比未採用 AI 的企業下降了約 9%,而資深職位就業人數則持續增長。史丹佛大學對 ADP 薪資記錄的分析也指向同一方向:2022 年底後,AI 暴露程度最高的職業中最年輕的員工的地位有所下降,而他們經驗更豐富的同事則保住了自己的地位。史丹佛大學的研究人員發現,損失集中在 AI 自動化工作的領域;而在 AI 僅僅是輔助工作的領域,初級職位的就業人數則保持穩定或有所上升。
因果關係仍在爭論中,誠實地說,我們必須承認這一點。紐約聯邦儲備銀行的研究人員將年輕畢業生失業率的上升歸因於遠距工作,而非 AI,他們認為企業不願僱用無法遠距培訓和指導的沒有經驗的人。但請注意這些解釋的共同點。無論是 AI 吸收了形成專業技能的工作,還是遠距工作切斷了圍繞它的指導關係,兩者都描述了同一個損壞的機制:專業技能從資深傳遞到初級的學徒制管道。無論哪種情況,「入門級」職位悄悄地變成了「需要三年經驗」。
去除雜訊後,你會發現一個看似簡單的問題:沒有初級工程師的經驗,你就無法成為資深工程師。專業技能不是下載的。它是透過失敗的建置、無效的除錯會話,以及一個有能力的 AI 現在會樂於為新人省去的「為什麼這會有效」的時刻來獲得的。如果省去了足夠多的這些時刻,你就會培養出一批人,他們可以在紙面上監督模型,但從未培養出那種能判斷模型何時自信地、災難性地犯錯的直覺。
大多數評論都停留在診斷階段,或者尋求將初級職位流失視為經濟問題的政策解決方案。然而,這也是一個工程問題,而安全關鍵領域已經花費數十年時間學習如何解決它。
我自己的職業生涯始於自動化的尖端。畢業後的第一份工作是驗證和確認數位噴射引擎控制器中的軟體,該控制器能夠比任何飛行員都快地決定戰鬥機引擎的反應。即使在 1980 年代後期,這種核心的張力已經很明顯:機器在常規情況下表現優於人類,但在機器無法預測的情況下,人類是飛機與災難之間的唯一屏障。這種張力被稱為自動化悖論,即越來越強大的自動化讓人類操作員的練習機會減少,同時卻只留下最困難的局面給他們。
航空業一再且昂貴地學到了,在這種差距中,人類技能退化會發生什麼。典型的例子是法航 447 號班機,該班機於 2009 年墜入大西洋。直接原因是平凡的。結冰的空速感測器向自動駕駛儀傳送了錯誤的數據,自動駕駛儀按照設計執行了操作:它斷開了連接,將飛機的控制權交還給了機組人員。接下來發生的不是硬體故障。而是能力故障。一個本來可以恢復的情況變得無法恢復,因為飛行員在數千小時的自動駕駛監控下已經習慣了,無法識別高空失速並透過手動飛行來擺脫困境。飛機本身是正常運作的。自動化悄悄侵蝕的訓練卻不是。
業界的反應很有啟發性,這與我們在核電控制室採取的做法相同。他們沒有拆除自動駕駛儀。而是重新引入了刻意的手動練習。2017 年,美國聯邦航空總署發布了針對運營商的安全警報 17007「手動飛行操作熟練度」,聲明「手動飛行是其他飛行技術的基礎」。該警報正式承認技能衰退本身就是一種危險。一些航空公司修改了程序,鼓勵在天氣良好的情況下進行初始爬升和初始下降的手動飛行,明知會犧牲一點燃油效率,以保持機組人員的原始飛行技能。這種權衡就是關鍵。一個產生無能操作員的完美優化系統根本沒有被優化。它只是將其故障模式轉移到了電子表格看不到的地方。
將航空業的教訓和核能的直覺並列來看,它們指向了一個我們現在需要在 AI 輔助工作中採用的設計模式:刻意設置「人工關卡」。
人工關卡是工作流程中的一個節點,人類在此接管控制權,不是因為這是完成任務最快的方式,也不僅僅是作為安全聯鎖,而是專門為了鍛鍊和保持那些否則會衰退的技能。其獨特之處在於它是被選擇的。你作為設計的一部分,決定你的組織必須在人類身上保持哪些能力,因為這些是你需要在艱難的日子裡用到的。然後,你設計所需的阻力來保持這些技能的活躍。
想像一下,這在一個嚴重依賴 AI 編寫大部分程式碼的軟體團隊中是如何運作的。該團隊將一個人工關卡設置在他們最不能失去的技能周圍:除錯。當關鍵模組出現缺陷時,指定的工程師——通常是初級工程師——必須先重現故障,追溯到根本原因,並編寫一個自動化測試來捕捉錯誤,所有這些都在 AI 助手關閉的情況下進行。只有當工程師確定了診斷後,模型才會重新啟動,提出修復方案,生成替代方案,並掃描程式碼庫尋找類似的錯誤。然後,工程師將他們的診斷與模型的診斷進行比較。當兩者意見不合時,這就說明設計正在發揮作用,在糟糕的日子來臨之前就暴露了分歧,而不是在期間。
這種方法重新定義了初級工程師的角色。今天的直覺是讓 AI 完成入門級工作,因為它更快、更便宜。但其中一些工作並非需要消除的開銷。它是你未來資深員工的培訓體系,你應該像保護任何其他關鍵基礎設施一樣保護它。這可能在本季度不夠高效,但拆除它卻悄悄地抵押了你十年後的潛在能力。
這一切都不是免費的,假裝如此就是侮辱那些必須簽署預算的人。刻意設置的人工關卡,其本質上在短期內比完全自動化效率更低。讓初級人員從事形成性工作並運行手動程序,現在需要付出一些成本來保護未來的東西。
在一個主要根據季度業績評估大多數領導者的市場中,這是一個難以推銷的觀點。一個僱用的高管,如果保留了 AI 可以取代的「不必要」的人員,將在回報到來之前很久就會從董事會那裡聽到意見。這種數學計算只對那些不受這種壓力影響的人才有效:有控制權的創始人、私營公司、真正有長遠視野的機構,或者願意要求員工定期展示技能的監管機構,就像飛行員必須做的那樣。這意味著最有可能保留自身專業知識的組織,是那些在結構上能夠花費短期利潤來換取長期能力的組織;其他所有人都需要外部推動。
所以,這句話的論點是:刻意的低效率不是浪費。在安全關鍵工程領域,我們一直將其視為保險,並刻意購買它。隨著 AI 接管專業技能鍛鍊的工作,明智的做法不是抵抗自動化。而是要透過設計來保持我們對控制權的掌握——這樣,當自動化最終失敗時,椅子上仍然有人知道如何飛行。
Richard Mitchell 是一位系統工程師,在安全關鍵控制領域擁有約 38 年的經驗,涵蓋噴射引擎控制系統驗證、發電廠優化、數位核能控制和飛機模擬。他擁有 BSEE 學位、MBA 學位,是 INCOSE 認證的專家系統工程專業人士,也是 AuraSpark Technologies 的創始人兼 CEO。