據我們所知，人類彼此交談至少已有十萬年歷史。在這段漫長的時間裡，世界上只有一種東西能夠完美流暢地學會人類語言：那就是人類兒童。
在 ChatGPT 發布的短短四年後，我們許多人已經習以為常，能夠與手機或電腦進行自然對話。像 Claude、DeepSeek 和 OpenAI 的 GPT 模型等大型語言模型（LLM）已經足夠流利且靈活，能夠令人信服地偽裝成人類。但若窺探其運算背後的機制，就會發現一個問題：教導電腦使用人類語言，仍然需要非人類程度的大量數據。一個大型語言模型可以輕鬆處理比一個人學習母語過程中經歷的詞彙量多十萬倍的數據，遠遠超過兒童在學會說話（通常在滿一歲時開始掌握語言）之前可能聽到的詞彙量。
史丹佛大學認知科學家 Michael C. Frank 表示：「大型語言模型的進展最近非常驚人。」「但我們仍然必須燒毀一片森林，刮盡所有人類知識的總和，才能重現我們家中客廳裡一年內發生的這個里程碑。」
兒童與機器之間的這種巨大鴻溝被稱為「資料效率差距」。這對認知科學家來說引發了一個誘人的問題，也對 AI 模型架構師提出了挑戰：兒童為何仍能超越有史以來最擅長語言的機器？
尋找答案對 AI 研究和認知科學都至關重要。過去十年來，語言模型大多透過變得更大來提升效能。兩年前發布的 Meta 開源大型語言模型 Llama 3.1，在預訓練（模型在針對特定任務（如聊天機器人）進行微調之前的主要訓練步驟）中處理了 15 兆個 token（類似單字的語言片段）。喬治城大學認知科學家兼語言學家 Ethan Gotlieb Wilcox 表示，前沿模型可能在預訓練中使用 10 倍的數據量。但網路上可供訓練的數據終究有限，最終——可能最早在 2030 年代——容易取得的數據來源可能會枯竭。
兒童證明了以更少的數據學習更多是可能的。少得多。在語言豐富的家庭中長大的兒童，可能聽過大約一億個詞彙。若加入識字能力，到 20 歲時，這個詞彙量可能會增加到約三億個詞彙。
這種規模上的差異只能透過類比來形容。Wilcox 表示：「Claude 所見過的語言量，相當於一座城市一代人所經歷的語言總量。」如果將訓練現代大型語言模型所使用的所有詞彙印在紙上，堆疊起來的高度將會超過國際太空站。而人類兒童的一億個詞彙，則僅能堆疊約 20 公尺高。但我們甚至可以用遠少於這個量的數據來達成目標。
透過逆向工程兒童的學習方式，科學家希望能開發出更具資料效率的 AI 模型，這對於從有效訓練 AI 處理影片到創建服務於少數語言社群的聊天機器人等各種應用都可能很有用。在機器模型中測試關於人類學習的假設，也有助於解決關於語言和兒童心智發展的持久問題。我們是天生就具備語言本能，還是原則上，兒童可以僅僅從經驗中學習語言？我們處理語言的方式是我們生物學的特徵，還是至少其中一部分反映了語言使用和學習的普遍限制？
大多數人在童年之後學習新語言時，才會意識到語言的難度。過去完成式、捲舌音和鼻母音、屬格、片語動詞、文法上的陽性桌子和陰性湯匙——這些都是成年語言學習者的折磨。然而，學習母語通常是毫不費力的。幼兒在聽到約一千萬個詞彙（最多三千萬個）後，通常就能開始說出語法正確的句子。
Frank 表示：「這簡直是奇蹟。」「如果你用三千萬個詞彙訓練 GPT-2，你會得到一個胡言亂語的產生器；你得不到一個小孩。」
嬰兒如何做到這一點仍然是個謎。研究人員對兒童在不同發展階段學習什麼以及如何使用語言有許多了解，但仍有許多未知之處。也許最持久的問題是，嬰兒為何能夠學習語言。人類語言的語法——將詞彙組合成句子的規則——包含遞迴、巢狀結構，使我們能夠用有限的詞彙和詞組來表達幾乎無限的想法。這似乎應該是嬰兒的問題。他們只是在無邊無際的語言海洋中濺起水花。然而，不知何故，這就足夠了。他們從一滴水中推斷出深度。
一種解決方案，由麻省理工學院語言學家 Noam Chomsky 在 1950 年代提出，認為嬰兒天生就具備硬編碼的語法知識。Chomsky 的觀點是對抗心理學家 B.F. Skinner 的對立觀點，後者認為語言習得完全是環境因素。Skinner 認為語言是透過制約和增強來學習的，就像狗學會坐下或握手以獲得獎勵一樣。Chomsky 反駁說，他引用了「刺激貧乏」——這個觀點認為語言，尤其是語法，過於複雜，而兒童對它的接觸又過於「貧乏」，無法完全從經驗中學習。「他的標誌性論點基本上是，語言不能僅僅基於統計學來學習，」加州大學爾灣分校語言學家兼認知科學家 Richard Futrell 說。相反，Chomsky 假設語言基於一套邏輯規則，並認為兒童需要內建的規則知識才能從零碎的談話中推斷出他們語言的語法。
「這簡直是奇蹟……如果你用三千萬個詞彙訓練 GPT-2，你會得到一個胡言亂語的產生器；你得不到一個小孩。」
Chomsky 的語言觀點在美國語言學界以生成語法的名義主導了數十年。它對 1950 年代和 60 年代的電腦科學產生了重大影響，當時 AI 正經歷第一次繁榮時期，語言學和自然語言處理的界線在軍事資金的洪流中消失；五角大廈希望電腦能夠理解英語並翻譯俄語。
儘管簡單的神經網路在識別和複製統計模式方面取得了早期成功，但美國的 AI 研究人員在很大程度上採用了受 Chomsky 理論影響的基於規則的框架。他們試圖透過明確地將規則編碼到程式中來教導電腦語言——這更像是文法課，而不是沉浸式體驗。這種方法，作為更廣泛的符號 AI 趨勢的一部分，持續了數十年。它也未能產生真正能夠大規模處理人類語言的模型。對自然語言處理的興趣在 1970 年代開始的「AI 寒冬」中降溫。
之後，神經網路開始捲土重來。但直到 2010 年代，隨著電腦硬體變得便宜且功能強大，網際網路日益擴大，它們的效能才開始引人注目。到 2018 年和 2019 年，基於新架構——Transformer——並在數十億個 token 上訓練的 BERT 和 GPT-2 模型，讓業內人士清楚地認識到，從海量數據中學習對語言是有效的。2022 年，隨著 OpenAI 的聊天機器人 ChatGPT 取得突破性成功，這點對所有人來說都顯而易見。
大型語言模型不是大腦。它們是強大的統計學習器——樸實的模式學習機器，沒有人類皮質中演化出的生物學特徵。換句話說，它們正是二十年前的生成語言學家認為無法學習語言的那種東西。然而，它們卻能寫出令人信服的十四行詩並通過語法測試。
加州大學柏克萊分校發展心理學家 Alison Gopnik 表示：「無論你對 AI 多麼懷疑，讓大家印象深刻的是：這些東西學會了語法。」「我沒想到會是這樣。我認為大多數人也不認為你可以僅僅透過觀察大量語言樣本的統計數據來弄清楚語法。」
但從少量語言樣本——比如兒童規模的樣本——學習又如何呢？是否有可能建立一個兒童規模的模型，而不僅僅是一個胡言亂語的產生器？
加州大學聖地牙哥分校語言學家兼數據科學家 Alex Warstadt 回憶起 BERT 和 GPT-2 發布前後的那段激動人心的時光。早在 2019 年，他還是紐約大學的語言學博士生，親眼目睹了他的領域發生變化。語言模型能夠透過處理文本來學習英語這一事實本身，就對當時主流的 Chomsky 觀點構成了挑戰。但許多語言學家仍然懷疑大型語言模型能否告訴我們關於人類如何習得語言的任何信息。
Warstadt 表示：「我總是在一個問題上遇到阻力。那就是模型的數據集大小。」「從來沒有過我們在人類規模上訓練語言模型時，它們能讓我們印象深刻。」
但 Warstadt 在大型語言模型中看到了希望：科學模型不一定要完美才能提供資訊，而大型語言模型顯然是人類語言使用的強大模擬。透過將關於兒童如何學習的假設融入模型並衡量其效能——它們在縮小資料差距方面有多接近——科學家是否能夠檢驗他們的想法？2022 年 8 月，Warstadt 在 Twitter 上發布了一系列推文，論證神經網路可以作為語言習得的有用模型。在與 AI 研究員 Leshem Choshen 進行了一些來回討論後，Warstadt 提出了 BabyLM 的想法，這是一個由 Warstadt、Choshen 和其他幾位研究人員組織的年度競賽，旨在用小型數據集訓練模型。
那是在四年前。從那時起，BabyLM 增加了研討會，並啟發了包括針對中文訓練的嬰兒模型競賽等衍生項目。主要賽事挑戰研究人員在「發展上合理」的語料庫上訓練語言模型，該語料庫僅包含 1 億個詞彙（幼兒規模的賽道為 1000 萬個），來源於故事書、對話、電影字幕、簡單英語維基百科、普通維基百科以及實際的兒童語音記錄。喬治城大學的 Wilcox 表示，模型是根據心理語言學家用於人類的語法基準進行評估的，他是組織者之一。
一種任務涉及向測試對象——人類或機器——呈現句子，並尋找語法錯誤時出現困惑或驚訝的跡象。例如，一個測試可能會比較句子「The keys to the cabinet are on the table」（櫃子的鑰匙在桌子上）和「The keys to the cabinet is on the table」（櫃子的鑰匙在桌子上）。Wilcox 表示：「當人類看到『is』時，他們會想：什麼？這裡不應該是『is』。」對人類而言，這種驚訝可以透過追蹤眼球運動來衡量。對於語言模型，研究人員使用一種稱為「驚訝度」（surprisal）的指標，該指標評估模型預測句子或句子部分的可能性有多低。
該競賽已經挑戰了一些假設，例如課程學習的有效性。課程學習從簡單的訓練數據開始，然後逐步增加到更複雜的輸入——有點像從嬰兒語開始，然後變得越來越複雜。Warstadt 表示，這是 BabyLM 第一輪中最受歡迎的方法。但它的效果不如預期。
波士頓大學電腦科學家、BabyLM 組織者之一的 Aaron Mueller 表示：「這種吸引力很難抗拒。它似乎與我們認為人類學習的方式非常吻合。」「但似乎這些 Transformer 並不需要以這種方式排序數據來有效學習。」
或許有些諷刺的是，最好的 BabyLM 模型一點也不像嬰兒。2024 年的冠軍 GPT-BERT 是一個 Transformer 模型，部分訓練用於預測序列中的下一個 token，就像現代大型語言模型一樣，部分訓練用於像 BERT 一樣的「掩碼語言模型」，後者以類似填字遊戲的方式填補序列中的空白。令人印象深刻的是，當 GPT-BERT 在約 1 億個詞彙上進行預訓練時，在其中一個 BabyLM 基準測試中，它的表現優於 Meta 的 Llama 2 70B——後者在約 15,000 倍的數據量上進行了預訓練。
儘管如此，BabyLM 模型仍無法與大型語言模型相提並論。許多模型根本無法生成文本，即使是 GPT-BERT 與現代商業模型相比也會顯得笨拙。最終，雖然它們是「嬰兒」規模的，但這些模型的學習方式並不怎麼像嬰兒。兒童不是沒有實體的電腦程式，他們對世界的「經驗」僅僅來自書面文字。他們透過感官——尤其是視覺和聽覺——來感知世界。為了縮小資料差距，一些研究人員認為，機器需要開始透過兒童的眼睛和耳朵來學習。
大約 15 年前 Michael Frank 在史丹佛大學創立實驗室時，科學家們並不知道嬰兒是如何體驗世界的。發展心理學家才剛開始透過頭戴式攝影機窺探嬰兒的生活。
Frank 表示：「早期研究帶來的見解是，兒童的經驗看起來與我們想像的截然不同。」「它的焦點更為集中：他們有這些短小的手臂，所以物體就在他們眼前。他們生活在膝蓋的森林裡。」
Frank 很高興能利用頭戴式攝影機的影像來訓練機器學習模型，以檢驗關於兒童如何學習語言的假設，但他需要更多數據。於是，他和四位同事招募了三名嬰兒——都是心理學家母親的孩子，她們知道自己將會面臨什麼——為科學戴上頭戴式攝影機。這個名為 SAYCam 的項目，記錄了每個孩子從六個月大到兩歲半大期間每週兩小時的生活。
Frank 表示：「[這些家庭] 願意釋出這些影片，這至關重要。」「所以我們發布了它，人們開始在上面訓練模型。」
其中一人是普林斯頓大學認知科學家兼 AI 研究員 Brenden Lake。2024 年，當他在紐約大學工作時，他和同事們提出了一個基於 61 小時原始 SAYCam 數據訓練的模型，該模型學會了識別物體並將其與單字聯繫起來。發展心理學中的許多理論認為，嬰兒需要一些偏見來幫助他們從原始感官經驗中挑選出特定部分並將其與語言片段聯繫起來。例如，人們認為嬰兒會假設一個新詞如「鞋子」指的是整個物體，而不是其一部分（如鞋帶），Lake 說。但 Lake 的團隊構建的模型能夠在影片畫面中學習識別物體並將其與單字聯繫起來，而無需任何此類偏見。Lake 表示：「事實證明，使用比許多理論建議的少得多的數據，就能在語言學習方面取得實質性的進展。」不過，他補充說，「完成後，我們也無法得到一個兩歲小孩。」
但或許並不令人意外的是，這些模型無法透過處理幾十小時的影片來複製兒童的能力，這些影片是從孩子幾年生活中的短暫快照拼湊而成的。可能是因為這些不足僅僅表明缺乏真實的數據。畢竟，嬰兒不可能 24/7 戴著頭戴式攝影機；像 SAYCam 及其後繼者 BabyView 這樣的項目，最多每週只能記錄幾個小時。因此，研究人員面臨的選擇是，要麼處理單一兒童生活中極小一部分的數據，要麼處理從多個孩子匯集的較大影片數據集。無論哪種情況，模型的訓練數據仍然與兒童的生活經驗相去甚遠。
情況可能會改變。普林斯頓大學神經科學家兼心理學家 Uri Hasson 在過去五年裡致力於一個項目，記錄了 17 名兒童生命中的最初 1000 天。參與家庭在家中的所有生活區域（臥室和浴室除外）都安裝了攝影機和麥克風，幾乎每天記錄 12 小時的影像。Hasson 表示，最近的預印本首次描述的這個數據集規模之大，若沒有新的 AI 工具進行轉錄和影片分析，根本不可能處理。「我們第一次擁有了輸入，」他說。「這真的只是個開始。」
到目前為止，在影片上訓練模型已被證明很困難。雖然基於文本的模型（在攝入大量訓練數據集後）能夠完全流利地生成文本，但從兒童影片訓練的多模態模型卻遠非如此。例如，Lake 的模型學會了像「球」和「貓」這樣的簡單單字。Warstadt 表示，BabyLM 的參與者嘗試用視覺數據補充文本，但效果不佳。Gopnik 認為問題可能在於兒童並非只是坐著看世界。「兒童正在積極探索，這意味著他們正在主動選擇自己的數據，」她說。「兒童不斷地進行實驗。」也許這才是缺失的要素。
Gopnik 小組的研究——包括對小學生探索 Minecraft 風格遊戲的研究——表明，看似兒童遊戲的活動實際上是學習因果關係的有效方式。兒童會尋找能夠最大化其「賦權」（empowerment）的經驗並採取行動，也就是能夠對世界產生可預測影響的能力。
哈佛大學發展認知科學家 Elizabeth Bonawitz 表示，與模型不同，兒童意識到自己不知道的東西，並有動力去填補知識的空白。兒童的社交生活也有助於他們學習。她的研究表明，當兒童知道有成年人試圖教導他們某件事時，他們會以不同的方式詮釋資訊。Bonawitz 表示：「兒童不僅在推理他們被告知的證據。」「他們還在推理老師、老師的知識，以及老師為什麼要告訴他們這些特定資訊。」
這與模型學習的方式大相徑庭：被動且孤立。也許如果模型被建構成尋求資訊來填補自身的盲點，實驗語言並觀察其他語言使用者對其咿呀學語的反應，並推理某種模擬的社交世界，它們會學得更好。去年的 BabyLM 實際上向能夠透過與其他模型互動來學習的模型開放了競賽。但社交模型並沒有表現得比標準模型更好。
在主要的產業實驗室中，Meta 似乎最熱衷於從兒童身上汲取靈感——特別是從影片中訓練模型。兩位 Meta 研究人員參與了 BabyLM 的多模態分支，Meta 的科學家們——與包括 Frank 在內的學術研究人員一起——最近宣布了一個基準測試和挑戰，旨在訓練模型處理兒童頭戴式攝影機的影片。Frank 還表示，一家名為 Flapping Airplanes 的隱蔽模式 AI 新創公司對他的研究感興趣。Meta、Google DeepMind、OpenAI 和 Flapping Airplanes 都拒絕接受採訪。
Gopnik 表示，目前，前沿實驗室並沒有積極地從兒童身上學習技巧。她認為，下一代 AI——無論是取代 Transformer 的什麼——才會從發展心理學中吸取教訓。
或許縮小資料差距最誘人的原因是，這有助於我們了解自己。
Mueller 表示，總體而言，機器學習社群對模仿大腦的興趣不大，而更傾向於構建有效運作的東西。但他認為，對資料效率差距的認識和興趣正在增長。例如，Q Labs 在 2026 年 3 月推出了 NanoGPT Slowrun 基準測試。「它們與 BabyLM 有非常相似的目標，」Mueller 說。「但它們放棄了從人類語言學習中獲得的動力，而真正專注於資料效率的角度。」
Warstadt 想要縮小資料差距的原因之一是為了實現 AI 的民主化，讓大學和其他沒有資源進行超大規模運算的研究機構能夠訓練出優秀的模型，並在 AI 研究領域保持相關性。奧斯陸大學機器學習研究員、GPT-BERT 的架構師之一 David Samuel 有一個更個人的原因來解決這個問題。他是捷克人，在挪威工作，捷克語和挪威語可供訓練大型語言模型的數據遠少於英語。Samuel 表示，像薩米語這樣的少數語言可能只有數千萬個 token——大約相當於幼兒的接觸量。「問題是，」他說，「我們如何開發出與英語模型一樣優秀的針對小語言的語言模型？」
但或許縮小資料差距最誘人的原因是，這有助於我們了解自己。
Bonawitz 表示，她最初懷疑大型語言模型能否揭示任何關於認知的信息。畢竟，大型語言模型和大腦非常不同。大腦是具身的。我們的神經元不是整齊的程式碼行，而是活細胞。而且，隨著我們學習和年齡增長，我們的大腦會生長和變化——大型語言模型只進行一次預訓練，之後就不再改變。但 Bonawitz 表示，儘管這兩個系統差異很大，「我正在修正我的看法。」她被這樣一種想法說服：可以像比較心理學家研究動物心智來闡明我們自己的心智一樣，研究模型。
Warstadt、Frank、Wilcox、Lake 和 Hasson 等研究人員已經在使用語言模型作為一種語言實驗鼠，它們是真實人類語言使用者的不完美但有資訊的替代品——特別是對於那些更多關於學習、語言和資訊處理的問題，而不是我們大腦或生物學的特定問題。當模型能夠用我們認為不可能的方式處理語言時，它就會挑戰舊的假設。研究人員可以將關於語言學習的假設融入模型——例如，透過模擬不同程度的雙語能力，或剝奪模型接觸某些語法形式的機會——並以與真實兒童不可能做到的方式來檢驗這些假設。Futrell 將這種情況比作教導外星人語言，然後打開牠們的大腦看看發生了什麼。
雖然其他動物會溝通，但只有人類會交談。現在，有一種既非動物也非人類，但也能說話的東西。大型語言模型開啟了比較研究的可能性，即使模型和心智差異很大。Warstadt 表示：「在過去的十萬年裡，或者無論人類語言存在多久，人類一直是宇宙中唯一使用語言的實體。現在出現了另一個語言實體。」「終於我們有了模型；不是語言模型的意義，而是模式生物的意義。」