儘管人工智慧（AI）在建構複雜軟體和解決高等物理問題方面取得了快速進展，但無所不在的 PDF 格式仍然是一個巨大的挑戰。資料公司 Surge 的執行長 Edwin Chen 將其列為限制實際應用性的 AI「不性感」的失敗案例之一。去年，他發現即使是要求從 PDF 中提取資訊的頂尖模型，也會改為總結內容、混淆註腳與內文，或完全臆測出不存在的內容。研究員 Pierre-Carl Langlais 在半開玩笑的 AI 發展時間表中，將「PDF 解析已解決！」這個里程碑放在通用人工智慧（AGI）之前不久。

首先，Igel 的朋友、被稱為「科技弄臣」的 Riley Walz 使用了他剩餘的 Google Gemini 點數。但它僅對一些最乾淨的掃描檔有效，而且處理數百萬份文件成本過高。因此，Igel 聯繫了他以前在麻省理工學院的同學 Adit Abraham，他恰好在他樓上的辦公室工作，並經營一家名為 Reducto 的 PDF 解析 AI 公司。

Reducto 是幾家試圖解決 PDF 問題的公司之一，它能夠從帶有神秘解碼錯誤的電子郵件線索、嚴重塗改的通話記錄以及手寫飛行記錄的低品質掃描檔中提取資訊。在資料被匯出成可用格式後，Igel 和 Walz 開始大肆建構，基本上創建了一個完整的、以 Epstein 為主題的應用程式生態系統：Jmail，一個令人不安但可搜尋的 Epstein 收件箱原型；Jflights，一個標示著飛行路線的互動式地球儀，每條路線都可點擊查看飛行數據、乘客名單和掃描的電子郵件邀請的底層 PDF；Jamazon，用於搜尋 Epstein 的亞馬遜購買記錄；以及 Jikipedia，用於搜尋檔案中出現的企業和人物，當然，還引用了更多的 PDF。

「這就是從 PDF 中提取資訊的魔力對我來說變得真實的地方，」Igel 說。「這將徹底改變許多工作的進行方式。」

PDF 之所以對機器來說極難解析，部分原因在於它們從未被設計成供機器閱讀。該格式由 Adobe 在 1990 年代初期開發，作為一種複製文件的方式，同時保留其精確的視覺外觀，首先用於紙本列印，然後用於螢幕顯示。像 HTML 這樣的格式以邏輯順序表示文字，而 PDF 則包含用於繪製頁面圖像的字元代碼、座標和其他指令。

光學字元辨識（OCR）可以將這些文字圖像轉換回電腦可用的文字，但如果遇到多欄式佈局的 PDF（許多學術論文都是如此），它會從左到右逐行讀取，產生一團混亂。OCR 工具旨在偵測和糾正這類格式變化，但表格、圖像、圖表、標題、註腳和頁眉都帶來了進一步的障礙。如果你給 ChatGPT 這樣的 AI 助手一個 PDF，它會循環使用各種工具，有時會失敗，有時會將 PDF 傳遞給大型視覺模型執行 OCR，有時會臆測內容，並且通常會花費很長時間並消耗大量計算能力來獲得不均勻的結果。

「關鍵問題是它們無法辨識編輯結構，」Langlais 說。「當內容相對簡單的文字時，一切都還好，但接著你有了所有這些表格、表單。PDF 是某種文本文化的一部分，需要理解其規範。」

PDF 本身的難度所產生並加劇的另一個問題是，模型很少對其進行訓練。這開始發生變化，部分原因是 AI 開發人員越來越渴望高品質的數據，而 PDF 卻包含了不成比例的大量數據。政府報告、教科書、學術論文——都是 PDF。「PDF 文件有潛力為語言模型的訓練提供數兆個新穎、高品質的 token，」去年 Allen Institute for AI 的研究人員在一篇宣布新專門 PDF 閱讀模型的論文中寫道。

「傳說中，第一個 PDF 就是美國國稅局的 1040 表格，」PDF Association 的執行長 Duff Johnson 說，該組織是協助開發 PDF 全球標準 ISO 32000-2:2020 的行業組織，該標準本身就是一份近千頁的 PDF。1994 年，美國國稅局希望有一種方法可以分享絕對一致的表格，而無需列印和郵寄所有可能的文檔，因此他們改為郵寄包含 PDF 的 CD。從那時起，PDF 隨著電子郵件的普及而傳播，成為數位工作的重要組成部分。書籍出版商將手稿發送給印刷廠，專利申請人提交新設備的圖表，任何需要共享看起來與接收者相同的文檔的人都轉向了 PDF。

「沒有其他技術能解決 PDF 所解決的問題，」Duff 說。網站是臨時的，根據瀏覽器和 CSS 的不同而呈現不同樣貌。連結會失效。Word 文件會根據你的機器而改變，並且可以被編輯和覆蓋。PDF 無論誰打開、何時打開、如何打開，看起來都一樣。

「這就是工程公司需要的。這就是律師需要的。這就是政府需要的。任何在這個世界上做事、需要維護記錄的人都需要它，」Duff 說。「今天早些時候，我打開了一個 1995 年的 PDF。我沒有擔心它。我只是打開了它。它運行得很好。它完美運行。我期望不亞於此。」（那是一個關於 PDF 的 PDF。）

「所以我非常確定我們會相當快地進步，但因為所有這些語言模型都是機率性的，所以根本無法保證它會是正確的。」

Allen Institute for AI 的研究員 Luca Soldaini 表示，在過去一年左右的時間裡，人們的關注點轉向了專門的 PDF 解析模型，他曾參與該機構的 PDF 模型 olmOCR 的開發。他們訓練了一個視覺語言模型——類似於大型語言模型，但使用像素而非文字 token——對大約 10 萬個 PDF 進行了訓練：包括公共領域書籍、學術論文、手冊、以及來自美國國會圖書館並附有人工轉錄的文檔。該模型進一步優化了特定問題區域，例如在不混淆行和列的情況下解析表格。

「如果頁面上的文字很大，模型就會學會說，『哦，那可能是一個標題，』」Soldaini 說。Soldaini 表示，該模型是該機構去年發布的最受歡迎的模型，與該機構的通用模型不相上下。Soldaini 說，PDF 閱讀 AI 並不像那些模型那樣引人注目，但人們實際上正在使用它。

幾個月後，Hugging Face 公司（一個流行的開源 AI 平台）的研究人員發布了一個包含 50 億個文件的數據集，用於訓練多語言模型，並開始思考下一步要做什麼。他們已經處理了 Common Crawl 的全部內容，這是從網絡上抓取的龐大、主要由 HTML 文字組成的檔案庫，構成了許多大型語言模型的基礎。像許多 AI 研究人員一樣，Hugging Face 的 Hynek Kydlíček 回憶道，他們當時在想是否已經用完了容易獲取的數據。

「我們想，讓我們看看 Common Crawl，也許還有我們沒見過的東西，」Kydlíček 說。確實有：大約 13 億個 PDF。「這就是我們發現 PDF 實際上可以成為一個超級龐大且高品質的訓練來源，」Kydlíček 說。「但 PDF 的格式，提取文字非常非常困難。」

Kydlíček 和他的合作者設計了一個系統，將 PDF 分為易於解析（主要是文字）和難以解析（充滿圖像和圖表）兩類。難以解析的 PDF 被傳送給 Reducto 修改過的 olmOCR 版本，稱為 RolmOCR。在他們剔除了佔據語料庫異常大比例的賽馬結果 PDF 後，該團隊宣布他們已經「解放了三兆個最優質的 token」，現在可用於模型訓練。

然而，能夠進行模型訓練的 PDF 解析能力是一回事。以律師和工程師所需的準確度進行提取又是另一回事。當 Hugging Face 團隊進行首次測試時，他們發現模型會在沒有文字的地方編造文字，用無意義的內容填充空白頁，並描述圖像和藝術品。他們訓練它來糾正這些錯誤，但無法預測所有格式的怪異之處或偏移的掃描檔。

「它在 98% 的情況下都解決了，但在許多領域，你總會遇到這最後 2% 的問題，」Kydlíček 說。「我認為 OCR 是視覺語言模型最好的經濟應用案例之一，所以現在有很多目光關注著它，很多人投入了大量資源。所以我非常確定我們會相當快地進步，但因為所有這些語言模型都是機率性的，所以根本無法保證它會是正確的。」

Kydlíček 說，Hugging Face 團隊發現 Reducto 是做得最好的團隊之一，這家公司就是 Igel 用來解析 Epstein 檔案的公司。Abraham 與人共同創辦了這家公司，作為一個管理客戶與語言模型長期互動歷史的服務，類似於現在聊天機器人標準的「記憶」功能。Abraham 不斷收到管理人們檔案的要求，而這些檔案自然都是 PDF 格式。他發現處理這些檔案「異常困難」。

「我們的核心直覺之一是，所有這些文件都是為像你我這樣的人類來理解而製作的，這裡有很多視覺資訊是我們理所當然的，比如兩個段落之間的每個間隙都在告訴我，『嘿，這是一個新想法。』每個縮排都在告訴我，『嘿，這是父級想法的子級想法。』問題在於，你如何對所有這些上下文進行編碼？」

團隊中的許多人都有自動駕駛汽車的背景，在自動駕駛汽車中，計算機視覺模型將數據「分割」成汽車、行人、垃圾箱等實體。他們對 PDF 採取了類似的方法，使用一個模型首先將頁面分割成標題、表格、註腳等，然後將其傳遞給其他專門的模型進行解析。當他們在 2024 年初發布關於他們方法的文章時，迴響是即時的。

「這本來不是要轉型的，」Abraham 說。其他開發人員聯繫他們說，他們的進展因 PDF 而受阻。「從那裡開始，事情就失控了。」

Reducto 現在使用越來越多的小型、專門的模型，進行多次掃描來解析 PDF。當分割模型偵測到一個表格時，它會交給一個表格解析模型。如果偵測到一個圖表，不同的元素會被傳送給不同的模型：一個用於提取座標軸，另一個用於讀取圖例，等等。然後，一個視覺語言模型會對輸出進行掃描以糾正錯誤。通過這種方法，Reducto 能夠以高度準確的方式將圖表轉換成電子表格，Abraham 說這是該公司的金融客戶長期以來一直要求的，並且讓更大型的前沿模型感到困擾。

儘管如此，就像自動駕駛汽車一樣，PDF 也有著長尾的異常挑戰。

「讓汽車保持在車道上與讓汽車處理街上出現的任何東西之間有很大的區別，我們在 PDF 中看到了類似的情況。我見過你能想像到的最離譜的文件，」Abraham 說。包含其他 PDF 的 PDF 文件、有時被劃線有時被刪除的法律文件、醫生潦草塗鴉並在頁面不同邊緣畫線連接想法的醫療表格傳真。「我認為 PDF 並不是一個完全解決的問題。我希望是這樣。我們很接近了，但仍有許多工作要做。」

將不會缺少需要解析的 PDF。該格式似乎不會消失。PDF Association 的 Duff 帶著一絲難以置信的懷疑問道，為什麼會這樣。Duff 說，公司曾經試圖取代 PDF，但他們當時的產品「現在已成為歷史的註腳」，而 PDF 卻持續激增。

「看看 PDF 的 Google 趨勢，」Duff 說。它顯示出逐年穩步上升的曲線（8 月份有波動）。「沒有其他技術看起來像這樣。隨著時間的推移，越來越多的人在搜索中包含 PDF，因為高品質的內容往往在那裡。」

「將會發生的是，世界上所有的系統將會越來越好地理解和使用 PDF，」Duff 說。「AI 公司沒有關注 PDF，因為 PDF 非常困難，直到他們意識到，嗯，原來很多真正高品質的東西實際上都在 PDF 中，所以現在我們必須處理它。」