有近五十萬個複合詞組未被任何字典收錄——僅僅因為它們包含空格。「煮沸的水」、「週六晚上」、「救命」。我之所以對此感興趣，是因為我製作文字遊戲。我想了解何時應包含帶空格的詞語——以及傳統字典對我們「什麼是詞語」的認知所造成的歷史影響。
這是一個滑桿。觀察不同熟悉程度的表達。金色詞語是傳統字典遺漏的。
英語有數十萬個複合詞組，它們不僅描述事物，更為事物命名。以「煮沸的水」為例。它僅僅是碰巧在煮沸的水嗎？或者它是一個帶有特定含義的術語——一種危險、一種烹飪階段、一種其他語言賦予其專有詞的觀念？傳統字典幾乎忽略了所有這類詞組，因為它們包含空格。Merriam-Webster 和 Oxford 僅涵蓋約 3%。
我之所以對此感興趣，是因為我製作文字遊戲——並且想了解哪些詞組具有足夠的概念份量，足以被視為詞彙，以及為何字典訓練我們認為它們不算。
這是一個滑桿。觀察不同熟悉程度的表達。金色詞語是傳統字典遺漏的。
我感興趣的是那些比其組成部分具有更大份量的詞組——那些帶有特定含義的詞組。這個滑桿的模糊端絕對是雜訊——語言模型產生的偽影、行話片段、維基詞典的殘渣。「我愛你」並不晦澀，但它足夠緊湊，可以放在一個牌上。界線在哪裡，取決於你。
眾包的維基詞典的詞頭數量是 Merriam-Webster 那本厚重的案頭書的 16 倍。然而，即使是維基詞典也存在遺漏。
當字典被規劃和創建時，詞典編纂者專注於語言的構成要素——並壓倒性地偏好個別單詞。即使是技術術語也很臨床：「多詞語表達」（MWEs）——彷彿它們是常態的偏差。語言學家也將其中許多稱為詞語搭配——習慣性地一起出現的詞語——並且確實存在詞語搭配字典。但它們的重點是共現，而不是一個詞組是否帶有特定含義——它是否命名了某事物，或僅僅是描述了它。
Merriam-Webster（綠色）僅涵蓋了前 10,000 個 MWEs 的 18%，到 100K 時下降到 7%。加入維基詞典（黃色）後，覆蓋率提高到 75%，但即使是這樣也下降到 48%。
如果一些選定的、非顯而易見的表達（稱為「不透明複合詞」）看起來足夠有趣，也會被包含進來。而字典頁面也不會浪費在自以為顯而易見的組合上。但失去了什麼？
語言是一個巨大的組合空間。英語大約有 325,000 個名詞、60,000 個動詞和 85,000 個形容詞。乘以語法模式，大約有 2500 億個可能的兩詞組合。
大多數是無意義的——「紫色的星期三」、「憤怒的家具」。但大約 15% 是合理的：「木椅」、「早晨咖啡」。那仍然是 300 億個有意義的配對。
我感興趣的是，在這數十億個組合中，有些組合已經結晶成更重要的東西——承載著超越其組成部分的概念份量的表達。「熱狗」不僅僅是溫暖的犬類。「紅絲帶」與彩色膠帶無關。
我請 Claude 集思廣益（下文解釋）。它回覆了 774,000 個 MWEs。這些是其中一些類型，以及它們在 Merriam-Webster（89,128 個詞頭中的 19,641 個）、Oxford American（72,495 個詞頭中的 15,488 個）和 Wiktionary（144 萬個英語條目中的 232,454 個）中出現的頻率。在下方的每個圖表中，左側表示較熟悉，右側表示較模糊：
印刷字典幾乎不涵蓋這些表達：Merriam-Webster 僅有 2.4%，Oxford 僅有 2.1%。即使合併，它們也僅涵蓋 3.2%。維基詞典表現較好，達到 30%。
估計 2500 億 > 300 億的漏斗：表格上方的這些數字僅為說明性質——沒有絕對的計數。從 50 萬個單詞術語中，我們抽樣並對詞性進行了分類，包括屈折形式和罕見術語：約 325,000 個名詞、60,000 個動詞、85,000 個形容詞（約是 WordNet 計數的兩倍）。我們將它們乘以語法模式。為了估計有多少「有意義」，我們隨機配對單詞：名詞+名詞 12% 有意義，形容詞+名詞 64%，動詞+名詞 40%。300 億是一個加權估計。
不透明複合詞和動詞短語在維基詞典中的覆蓋率最高。命名實體（專有名詞）大多是百科主題——因此它們出現在維基百科中。技術術語隨著變得越來越模糊而趨向於行話，但行話對文字遊戲沒有用，因為知道它的人太少了。
但看看那些「透明」和「半透明」的小圖表頂部的金色部分？那是一個真正的 MWEs 的深層儲備——而我們被字典條件化，不期望它的存在。舊的傳統字典，上面以深藍色和深綠色標示，壓倒性地忽略了它們。
這裡有一些詞語的例子，它們是其他被詞彙化的詞語的近親。
但即使在透明的詞語中——有些比其他詞語更有份量。「黃梨」僅僅是描述。「煮沸的水」命名了一個事物——語言學家稱之為命名功能——一種危險、一種烹飪階段、一種斯拉夫語言和日語都賦予其單一詞的觀念（俄語 kipyatok，波蘭語 wrzątek，日語 nettō）。區別是什麼？其中一個本來可以成為一個詞。
英語是否應該創造一個詞來表示劇烈疼痛，而不是更帶情感色彩的「痛苦」或「苦惱」？我不知道。但「劇烈疼痛」足夠緊湊，可以在文字遊戲中作為一個有用的標記。它命名了一個事物。
此分析是關於永恆的詞語，而非瑣事。因此，我排除了 133,000 個命名實體——專有名詞，如「紐約市」、「阿爾伯特·愛因斯坦」和「第二次世界大戰」。命名實體在維基百科中有很好的覆蓋，47% 的「技術性」MWEs（「帕金森氏症」）也是如此。
拼字遊戲（Scrabble）著名地排除了專有名詞。填字遊戲則擁抱它們。選擇在文字遊戲中包含多少專有名詞，與文化假設糾纏在一起。簡單的瑣事毫無意義，而難的瑣事則令人疏遠。所有美國總統都應該是公平的嗎？韓國流行音樂明星呢？英國君主？諾貝爾獎得主？「正確」的答案取決於你的受眾，這是一個設計問題，而不是語言學問題。
不透明性的區別並非唯一有趣的區別。MWEs 在起源和性質上也各不相同——有些是技術性的，有些是比喻性的，有些是以人名命名的，有些是新近創造的。它們的分類如下：
「詞語」和「詞組」之間的界線比字典所暗示的更模糊。詞語往往承載著更多的概念份量——但並非總是如此。有些詞語可能不需要被創造；有些詞組應得的肯定比它們得到的要多。英語充滿了兩個或三個詞的詞組，它們作為單一的語義單位發揮作用——有效地成為「詞語」——但由於它們沒有融合成一個拼寫單詞，因此對字典來說是看不見的，並且作為詞彙被低估了。「幼稚園學生」在字典裡，但「中學生」不在。較新的職業——「汽車銷售員」、「吸塵器銷售員」、「氣球銷售員」——是兩個詞，但古老的職業可能有單詞：珠寶商、花商、魚販、煙草商、文具商、布商。
德語和挪威語不「去除空格」——它們的複合詞從一開始就沒有空格。Champignoncremesuppe 和 Gesundheitszeugnis 從一開始就是單一的語法結構，添加空格會改變意義或破壞語法。挪威語對此非常重視，甚至有一個詞來形容這種錯誤：sæ rskrivingsfeil（分開書寫錯誤）。空格很重要：røykfritt 意為「無煙」，但 røyk fritt 意為「自由吸煙」。En norsklærer 是一位挪威語老師；en norsk lærer 是一位挪威老師。並非所有複合詞都會被收錄到字典中——可能存在近乎無限的組合，就像英語一樣。但那些具有足夠份量的組合會被收錄。挪威語甚至將兩個詞的複合詞收錄到字典中，當它們值得時——svart hull（黑洞）有一個空格，但有一個條目，因為其意義並非從組成部分顯而易見。英語則有相反的問題：詞組到複合詞的管道（冰淇淋 → 冰淇淋？還沒有）速度慢、任意，並且不一定與意義相關。
其他語言有時對英語只能描述的事物有簡潔的單詞。西班牙語精確地劃分時間，這是英語所缺乏的：madrugada 指凌晨時分，atardecer 指傍晚漸入夜色。午睡如此引人入勝，以至於我們將 siesta 引入英語。
然而，簡潔的單詞對應詞僅出現在最熟悉的 2000 個 MWEs 中——即使在那時，也很少見。彷彿語言集體決定這些概念不值得結晶成單詞。
例外確實存在——挪威語 forelsket 指墜入愛河的狂喜，丹麥語 hygge 指燭光下的滿足，葡萄牙語 saudade 指渴望。但這些詞之所以出名，正是因為它們罕見。在頂級熟悉度之外，到處都枯竭了。沒有任何語言有一個詞來表示「停車場的沮喪」或「週日晚上的恐懼」。一般來說，如果英語用詞組來描述，其他語言也是如此。
為什麼字典編纂者會包含某些詞組而不包含其他詞組？
詞典編纂者使用了一個可替換性測試：如果你可以自由地交換同義詞，那麼它就不是一個詞彙單位。「冷腳」（意為恐懼）不能變成「寒冷的腳」——所以它有一個條目。
觀察極端——一個詞語在詞組的開頭或結尾最常被包含或排除——揭示了模式。比較做出這些決定的兩組人。傳統詞典編纂者（Merriam-Webster, Oxford）在頁面限制下工作，偏好已建立的科學和技術詞彙。維基詞典志願者，不受空間限制，專注於動詞短語和日常習語。點擊這些開關以探索詞典編纂者的決定。
奇怪的是，維基詞典在某些不太常見的結尾詞上也達到了 100% 的覆蓋率。我們測試過的每種百合（睡蓮、復活節百合、虎百合）。每種醬料（蘸醬、辣醬、義大利麵醬）。每種布丁（約克郡布丁、米布丁、聖誕布丁）。每種酸（胃酸、脂肪酸、硫酸）。
印刷字典有空間限制。語料庫語言學家根據頻率數據構建了詞語搭配字典——但頻率本身無法告訴你什麼是概念。「桌子」非常頻繁，但沒有命名任何事物；「散裝葉子」很罕見，但命名了一個事物。按頻率對 n-gram 進行排序會掩蓋重要的內容。
我需要一個不同的信號。我到 Claude 的大腦裡去釣魚。
種子列表——維基詞典、維基百科、國會圖書館主題——被選來涵蓋人們真正關心的主題。探針之所以有效，是因為 Claude 只有在認為一個詞組是一個單元時，才會將其作為類別成員。詢問標誌性術語，你會得到「正在播放」。詢問烹飪危險，你會得到「煮沸的水」。
當英語使用者說「週六晚上」時，他們不是在計算「星期六這個日子的一部分夜晚」。他們在喚起一個概念——工作週的結束、社交時間、一種感覺。這個詞組就是那個概念的詞。
對於文字遊戲來說，這是一個重新定位。存在一個巨大的 MWEs 空間，它們都可以是可玩的——與單詞並列。字母數量仍然很重要，所以長 MWEs 在遊戲玩法中作用不大（除非是《財富轉盤》）——但「紙巾」可以放在任何「discombobulate」可以放的地方。限制從來都不是長度。而是我們字典塑造的、關於什麼算數的認知。
這讓我對詞語有了不同的思考。不是下一個空格出現在哪裡——而是某事物是否具有份量。