一次性的測試無法衡量 AI 的真實影響。我們最好轉向更以人為本、情境特定的方法。

數十年來，人工智慧的評估方式都圍繞著一個問題：機器是否能超越人類。從西洋棋、高等數學、程式撰寫到寫作，AI 模型和應用程式的表現都是與個別人類完成任務的表現進行比較。

這種框架很有吸引力：在有明確對錯的獨立問題上進行 AI 與人類的比較，很容易標準化、比較和優化。它能產生排名和頭條新聞。

但問題來了：AI 幾乎從未以其被評測的方式被使用。儘管研究人員和業界已開始透過從靜態測試轉向更動態的評估方法來改進評測，但這些創新只解決了部分問題。這是因為它們仍然在人類團隊和組織工作流程之外評估 AI 的表現，而 AI 的真實世界表現最終是在這些環境中展開的。

雖然 AI 在任務層級被孤立地評估，但它卻是在混亂、複雜的環境中使用，而且通常與多人互動。它的表現（或缺乏表現）只會在長時間使用後才會顯現。這種錯位使我們誤解 AI 的能力，忽略系統性風險，並誤判其經濟和社會後果。

為了解決這個問題，是時候從狹隘的方法轉向評估 AI 系統在人類團隊、工作流程和組織內，於更長的時間範圍內表現的評測標準了。我自 2022 年以來，一直在英國、美國和亞洲的小型企業、醫療、人道主義、非營利組織和高等教育機構，以及倫敦和矽谷領先的 AI 設計生態系統中，研究真實世界的 AI 部署。我提出一種不同的方法，我稱之為 HAIC 評測標準 — 人類–AI 情境特定評估。

對政府和企業而言，AI 評測分數比供應商的說法更顯客觀。它們是決定 AI 模型或應用程式是否「夠好」以供實際部署的關鍵部分。想像一個 AI 模型，在最尖端的評測中取得了令人印象深刻的技術分數 — 準確率 98%、突破性的速度、引人注目的輸出。憑藉這些結果，組織可能會決定採用該模型，投入大量的財務和技術資源來購買和整合它。

但隨後，一旦採用，評測與真實世界表現之間的差距很快就會顯現。例如，看看 FDA 核准的眾多 AI 模型，它們能比專業放射科醫師更快、更準確地讀取醫療掃描。在從加州中部到倫敦郊區的醫院放射科，我親眼目睹工作人員使用排名很高的放射科 AI 應用程式。一再地，他們需要額外的時間來解釋 AI 的輸出，同時還要遵守醫院特定的報告標準和國家特定的監管要求。當初在真空狀態下測試時被視為提高生產力的 AI 工具，在實際應用中卻造成了延誤。

很快就清楚，用於評估醫療 AI 模型的那種評測標準，並未能捕捉到醫療決策實際是如何做出的。醫院依賴多學科團隊 — 放射科醫師、腫瘤科醫師、物理師、護士 — 他們共同審查病人。治療計畫很少取決於靜態決策；它會隨著新資訊的出現而演變，歷時數天或數週。決策通常是透過專業標準、病人偏好以及長期病人福祉的共同目標之間的建設性辯論和權衡而產生的。難怪即使是得分很高的 AI 模型，一旦遇到真實臨床護理的複雜協作過程，也會難以交付承諾的表現。

在我的其他領域的研究中，也出現了同樣的模式：當嵌入真實工作環境時，即使在標準化測試中表現出色的 AI 模型，也無法達到預期表現。

當高評測分數未能轉化為真實世界表現時，即使是評測分數最高的 AI 也很快被拋棄，進入我所謂的「AI 墳墓」。成本是巨大的：時間、精力和金錢最終被浪費了。隨著時間的推移，重複的類似經驗會侵蝕組織對 AI 的信心 — 在醫療等關鍵領域，甚至可能侵蝕公眾對該技術的廣泛信任。

當目前的評測標準僅提供 AI 模型準備好供實際使用的部分且可能具有誤導性的信號時，這就會產生監管盲點：監管是根據未能反映現實的指標來塑造的。它也讓組織和政府承擔在敏感的真實世界環境中測試 AI 的風險，而往往資源和支持有限。

為了解決評測與真實世界表現之間的差距，我們必須關注 AI 模型將被使用的實際條件。關鍵問題是：AI 能否在人類團隊中作為一個有生產力的參與者發揮作用？它能否產生持續的集體價值？

透過我在多個領域的 AI 部署研究，我看到許多組織已經開始 — 刻意且實驗性地 — 朝著我偏好的 HAIC 評測標準邁進。

HAIC 評測標準從四個方面重新定義了目前的評測方式：

1. 從個人和單一任務表現轉向團隊和工作流程表現（轉變分析單位）

2. 從一次性測試（有對錯答案）轉向長期影響（擴展時間範圍）

3. 從正確性和速度轉向組織成果、協調品質和錯誤可偵測性（擴展結果衡量指標）

4. 從孤立的輸出轉向上游和下游的後果（系統效應）

在這種方法已經出現並開始應用的組織中，第一步是轉變分析單位。

例如，在英國某個醫院系統於 2021-2024 年期間，問題從「醫療 AI 應用程式是否能提高診斷準確性」擴展到「醫院多學科團隊中 AI 的存在，不僅影響準確性，還影響協調和審議」。該醫院特別評估了使用和未使用 AI 的人類團隊的協調和審議。多方利益相關者（院內外）決定了衡量指標，例如 AI 如何影響集體推理、它是否提出了被忽略的考量、它是否加強或削弱了協調，以及它是否改變了既定的風險和合規實踐。

這種轉變是根本性的。在高風險的環境中，系統級別的影響比任務級別的準確性更重要，這點至關重要。這對經濟也很重要。它可能有助於重新校準對大規模生產力提升的過高期望，而這些期望迄今主要基於改善個人任務表現的承諾。

一旦奠定基礎，HAIC 評測就可以開始納入時間元素。

今天的評測類似於學校考試 — 一次性、標準化的準確性測試。但真實的專業能力是不同評估的。初級醫生和律師在真實工作流程中，在監督下，透過回饋循環和問責結構進行持續評估。表現是隨時間和特定情境來判斷的，因為能力是關係性的。如果 AI 系統要與專業人士並肩作戰，它們的影響應該被縱向評估，反映出在重複互動中表現如何展開。

我在人道主義領域的一個案例研究中看到了 HAIC 的這個方面。在 18 個月內，一個 AI 系統在真實工作流程中進行了評估，特別關注其錯誤的可偵測性 — 也就是說，人類團隊可以多容易地識別和糾正它們。這種長期的「錯誤可偵測性記錄」意味著相關組織可以設計和測試情境特定的護欄，以建立對系統的信任，儘管偶爾出現 AI 錯誤是不可避免的。

更長的時間範圍也使短期評測無法看到的系統級後果顯現出來。一個 AI 應用程式可能在狹隘的診斷任務上優於單一醫生，但卻未能改善多學科決策。更糟的是，它可能會引入系統性扭曲：過早地將團隊錨定在看似合理但並不完整的答案上，增加人們的認知負擔，或產生下游的低效率，抵消 AI 使用點的任何速度或效率提升。這些連鎖效應 — 目前的評測往往無法察覺 — 是理解真實影響的關鍵。

不可否認，HAIC 方法有望使評測更加複雜、資源密集且更難標準化。但繼續在脫離工作世界的消毒條件下評估 AI，將使我們誤解它真正能為我們做什麼，以及不能做什麼。要在真實世界中負責任地部署 AI，我們必須衡量真正重要的東西：不僅僅是模型本身能做什麼，而是當真實世界中的人類和團隊與之合作時，它能實現什麼 — 或破壞什麼。

Angela Aristidou 是倫敦大學學院的教授，也是史丹佛數位經濟實驗室和史丹佛以人為本 AI 研究院的研究員。她就人工智慧工具的真實世界部署以促進公共利益發表演講、寫作和提供建議。

Subquadratic 現已分享了其新模型的更多細節。但仍有人持懷疑態度。

一項新技術讓該公司能夠比以往更深入地探究大型語言模型的奇特運作。

該公司正將 AI 應用於科學領域。

AI 時代需要更快的晶片。ASML 在製造這些晶片所需的昂貴設備方面擁有壟斷地位。有人能追趕得上嗎？

探索特別優惠、熱門故事、即將舉行的活動等。

感謝您提交您的電子郵件！