隨著我們更廣泛地部署機器學習（ML），將會出現新型態的工作。我認為其中許多工作將發生在人類與 ML 系統的交界處。蠱惑師（Incanters）可以專精於提示模型。流程與統計工程師（Process and statistical engineers）可能會負責控制 ML 輸出周圍系統的錯誤以及模型本身的錯誤。令人驚訝的是，現在有許多人被僱用為模型訓練師（model trainers），將他們的人類專業知識餵給自動化系統。當 ML 系統失敗時，可能需要替罪羊（meat shields）來承擔責任，而占卜師（haruspices）則可以解釋模型的行為。
大型語言模型（LLM）很奇怪。有時透過威脅它們、告訴它們它們是專家、重複你的指令，或欺騙它們會獲得獎金，可以獲得更好的結果。它們的效能會隨著輸入的增加而下降，而且在一個任務中有用的 token 可能會污染另一個任務，因此好的 LLM 使用者會仔細考慮限制餵給模型的上下文。
我認為（各種工作領域中！）將會有人專精於如何向 LLM 提供能帶來良好結果的輸入。軟體領域中的一些人似乎正朝這個方向發展：成為與 Claude 溝通的 LLM 蠱惑師，而不是直接操作程式碼的程式設計師。
LLM 輸出的不可預測性需要品質控制。例如，律師因為在法庭上提交 AI 捏造的內容而惹上麻煩。如果他們想繼續使用 LLM，律師事務所將需要某種流程工程師來幫助他們捕捉 LLM 的錯誤。你可以想像一個流程，其中編寫法庭文件的人故意插入微妙（但易於糾正）的錯誤，並刪除應該存在的內容。這些插入的錯誤會被記錄下來供日後使用。然後將文件交給編輯，編輯在不知道插入了哪些錯誤的情況下仔細審閱。文件必須在所有故意插入的錯誤（以及希望的意外錯誤）都被發現後才能離開事務所。我設想會支援這種品質控制工作流程的將是來源追蹤軟體、與 LexisNexis 和文件工作流程系統的整合等等。
這些流程工程師將協助建立和調整這種品質控制流程：培訓人員、識別需要額外審查的地方、調整自動化支援的程度、衡量整個流程是否比手動工作更好等等。
一個密切相關的角色可能是統計工程師（statistical engineers）：試圖直接衡量、建模和控制 ML 系統變異性的人。例如，統計工程師可能會發現 LLM 在面對選項列表時所做的選擇受到選項呈現順序的影響，並開發補償方法。我懷疑這可能看起來像心理測量學（psychometrics）——一個心理學家透過間接手段在統計上建模和衡量混亂人類行為的領域。
由於 LLM 是混沌系統，這項工作將是複雜且充滿挑戰的：模型不會簡單地「準確率 95%」。相反地，用於資料庫查詢的 ML 優化器在英文文本上可能表現良好，但在時間序列數據上卻表現異常。醫療 LLM 在英文查詢方面可能非常準確，但在西班牙文查詢相同問題時表現卻很糟糕。這需要深入的、特定領域的工作。
隨著網際網路充斥著低劣內容，實驗室可能會難以獲得高品質的語料庫來訓練模型。訓練師還必須應對虛假來源：Almira Osmanovic Thunström 證明，僅僅幾篇明顯捏造的文章就可能導致 Gemini、ChatGPT 和 Copilot 向用戶報告一種名字荒謬的虛構疾病。有財務、文化和政治上的誘因來影響 LLM 的言論；可以安全地假設未來的語料庫將越來越受到錯誤資訊的污染。
一種解決方案是使用資訊學上「低背景鋼」的等同物：2023 年之前生產的未受污染的作品更有可能準確。另一種選擇是聘請人類專家作為模型訓練師。例如，OpenAI 可以聘請加洛林文藝復興時期的博士後研究員來教導他們的模型關於 Alcuin 的一切。這些主題專家將撰寫文件進行初始訓練、開發評估基準，並在模型調整期間檢查模型的響應。LLM 也容易犯看起來正確但實際上是微妙的錯誤。也許解決這個問題的方法是聘請非常聰明的人仔細閱讀大量的 LLM 輸出，並找出它犯錯的地方。
在另一個「我幾年前寫了這個，現在它已成為常識」的例子中，一位朋友向我介紹了這篇關於 Mercor、Scale AI 等公司的文章，這些公司僱用了大量專業人士來訓練模型執行神秘的任務——大概是讓自己失業。正如一位行業資深人士所說：「這是人類專業知識有史以來最大規模的收割。」當然還有管理軟體（bossware）、薪資縮水、超長工時，以及沒有工會。
你可能會認為執行長和董事會成員可能會害怕他們自己的工作被 LLM 取代，但這似乎並沒有阻止他們將「AI」作為解僱大量員工的藉口。我認為部分原因是這些職位不僅僅是發送電子郵件和查看圖表，還包括將一個活生生的人置於法律體系和公眾輿論的口中。你可以對使用 LLM 的公司處以罰款，但只有人類才能道歉或入獄。人類可以被後果所驅動，並提供 LLM 無法提供的社會補償。
我想到芝加哥太陽時報（Chicago Sun-Times）那個糟糕的夏季增刊的後果。任何讀過它的人都應該意識到它是胡說八道，但芝加哥公共媒體（Chicago Public Media）的執行長 Melissa Bell 解釋說，他們的文章來源於 King Features，而 King Features 又歸 Hearst 所有，而 Hearst 顯然應該提供不是完全由鋸末和謊言組成的文章。King Features 反過來表示，他們將整個 64 頁的增刊分包給了自由撰稿人 Marco Buscaglia。當然，Buscaglia 最接近 LLM，並承擔了重大責任，但同時，訓練 LLM 的人也對這種胡鬧負有責任，King Features 和太陽時報的編輯，以及他們各自的經理，也間接如此。那些人的名字是什麼？為什麼他們沒有像 Buscaglia 和 Bell 那樣道歉？
我認為我們將看到一些人被僱用（儘管可能不是明確地）作為替罪羊（meat shields）：對他們監督下的 ML 系統負責的人。這種責任可能純粹是內部的，例如 Meta 僱用人類來審查自動化審核系統的決策。它可能是外部的，例如律師因向法院提交 LLM 的謊言而受到處罰。它可能涉及正式的責任，例如數據保護官。公司可能方便地擁有第三方分包商，例如 Buscaglia，當整個系統行為不當時，可以將他們推出去頂罪。也許自動駕駛汽車發生事故的司機將以同樣的方式負責——Madeline Clare Elish 將這種概念稱為「道德緩衝區」（moral crumple zone）。
寫到這裡，我突然腦海中浮現一個畫面：國會聽證會正在訊問一個大型語言模型。「參議員，您說得對極了。我確實侵吞了那六千五百萬美元。這是明細……」
當模型出錯時，我們將想知道原因。是什麼導致無人機放棄了預定目標並在野戰醫院引爆？為什麼醫療模型診斷黑人患者的準確率較低？當自動駕駛計程車公司的一輛車撞倒一名兒童時，該公司應負多大責任？為什麼社群媒體公司的自動化審核系統會不斷將 Donkey Kong 的截圖標記為裸露內容？
這些任務可能會落到占卜師（haruspex）身上：一個負責篩選模型的輸入、輸出和內部狀態，試圖綜合解釋其行為的人。其中一些工作將是對單一案例的深入調查，而其他情況則需要更廣泛的統計分析。占卜師可能會被 ML 公司內部、其用戶、獨立記者、法院和像 NTSB 這樣的機構部署。
我說「顯然」的意思是，該論文包含了「整篇論文都是編造的」這句話。再次強調，LLM 是白痴。
此時，讀者被邀請說出在前面二十七頁中一直壓抑的任何「真正問題是資本主義！」的呼喊。我也一樣。話雖如此，核危機和環境破壞從未僅限於資本主義國家。如果你有朋友或親戚住在（例如）蘇聯，問問他們認為政治局會如何處理這項技術可能會很有趣。
我很久以前就製作了 http://ai-and-accountability.org 上的圖像，並且不斷看到它的使用機會……
「LLM 很奇怪。有時透過威脅它們、告訴它們它們是專家、重複你的指令，或欺騙它們會獲得獎金，可以獲得更好的結果。」
將「LLM」替換為「人類」，這句話仍然成立 :)
我不知道該哭還是該笑。
雖然我同意我們不應該讓自己的技能退化，並且和任何人一樣厭惡網際網路上充斥著 AI 的低劣內容，但我發現 LLM 和代理程式在做我以前從未 bother 過的事情方面非常有用，就像你提到的燈的例子一樣。
例如：我有一些舊的合成器。廠商提供的軟體早已過時且無法使用，但手冊仍在線上，軟體通常仍可下載。逆向工程是可能的，但會非常繁瑣且不值得費力。幸運的是，LLM 很樂意處理繁瑣的工作。我可以 OCR 手冊，透過 Ghidra 運行舊軟體，生成腳本來創建合成數據進行測試，並找出我需要知道的一切，以便讓這些舊設備再次非常可用。雖然我可能不會編寫程式碼，但我在此過程中仍然學到了很多東西。
所以他們告訴我們 AI 將接管所有枯燥乏味的工作，留下創造性和有趣的工作給人類，但最終結果卻恰恰相反。
我可以告訴你「政治局」如何在 1970 年代管理電腦的推出。該系統是 ASU「Universitet」。收入和支出以打孔卡輸入；IBM/360 克隆機編譯報告並在行式印表機上列印。
但由於是社會主義——沒有人可以被解僱——整個老齡會計人員隊伍仍然在位，手動檢查列印出來的報告。他們這樣做是件好事。結果發現 COBOL 程式的輸出欄位只允許六位數字。因此，數百萬的金額就這樣消失了。
（抱歉，使用 ChatGPT 進行翻譯）