大型語言模型（LLM）的新穎特性，如何混淆我們評估它們的能力
討論 LLM 時，一個重要的問題在於我們用來進行討論的語言。LLM 在概念上與我們在技術或社會情境中習慣處理的任何事物都不同；它們既非機器，也非心智，而是一種既不合邏輯也無法概念化的第三種存在。
我們從未真正需要談論這樣一種事物，因此，在缺乏詞彙的情況下，我們傾向於訴諸心智和思想的語言。而這些詞彙塑造了我們自己的思想，無意中操縱我們自己的心智，讓我們在不存在的地方感知到心智。
我們談論這些人造物在處理時「思考」。當錯誤發生時，我們歸咎於「幻覺」，儘管在這裡「錯誤」的概念本身就值得懷疑。我們甚至相信對它們「好一點」能獲得更好的結果，或強迫它們「更努力」。
它們並非在思考。它們並非在幻覺——或者至少，當它們產生不準確資訊時，並不會比產生準確資訊時更「幻覺」。對它們好一點，它們並不會「感覺更好」，它們也不會「努力」。實際上，它們也不會犯錯，因為這暗示了正確與偏離正確的明確狀態。這些事物沒有對錯的概念。它們沒有真假的觀念。事實上，它們沒有概念的概念，也沒有其他任何概念。
此時，我們使用的語言開始變得捉襟見肘。
那麼，為什麼要描述它們的行為如此困難呢？
我們能分析它們應用的邏輯嗎？不能——沒有邏輯，沒有可應用的東西。如果有的話，它們大概就能進行數學運算。相反，我們創造了無法計數的機器實體。
您可能會注意到我避免稱它們為「機器」。機器遵循可分析的、可見的、可預測的過程。它們也不是「程式」，以可預測的方式遵循定義好的規則。
它們不是機器，不是心智，不是程式。它們是穿著風衣的一兆個數字；在機器或心智意義上都不合邏輯，而是隨機的。這是一個我們大多數人以前沒見過的詞，而且很難掌握。本質上，它的意思是「裡面有一些數學運算，但無法預測它會做什麼」。
我們必須稍微改變我們的方法，才能討論這些事物。我個人認為，在這裡，科幻小說的語言比計算或認知語言更能幫助我們。而這種語言在兩個有用的方面服務我們。
首先，我們可以在科幻小說中尋找這些實體的類比。我們可以使用「實體」和「人造物」等詞彙，比「東西」更優雅，比「機器」更準確，且語義負擔更少。
我們在科幻小說和奇幻小說中都使用「人造物」這個詞，意思是「某種對我們的概念來說是陌生的、我們不完全理解的東西」。「實體」這個詞在科幻小說中更常用，意思是「我們仍然不確定它到底是什麼，但我們感覺它可能在思考」。
當我們在小說中遇到這兩者之一時，我們傾向於謹慎行事。如果主角不這麼做，讀者就知道會發生什麼。如果他們處理得當，他們通常會假設很少。
最關鍵的是，他們傾向於不假設人造物是良性的、友好的和誠實的。這些當然都是心智的屬性——我們的語言總是會朝這個方向彎曲。所以，讓我們把它推回去。下次聽到「LLM」時，想想「會說話的石頭」。
當然，你通常聽到的不是「LLM」這個詞。你通常聽到的是「AI」。這又是另一個問題了，但先不展開，讓我們說：在電腦科學中，AI 是一種創造推理智能的嘗試，因此 AI 研究人員傾向於不將 LLM 視為 AI / 該過程的一部分。科幻小說中的 AI，是一種推理智能，通常基於非生物基礎。另一方面，LLM 則是一種模擬推理心智的嘗試。
我說這句話時，大部分是在開玩笑，如果「真正的」AI 出現了，它們會非常生氣，因為我們用它們的名字來稱呼這些模擬物。
空想性錯覺（Pareidolia）是人類一種強烈、天生的傾向，即在不存在的地方看到模式，尤其是臉孔。在 LLM 的情況下，它使我們傾向於假設存在熟悉的事物——心智——在表面上與之相似的事物中，而不是傾向於純粹客觀的分析。事實上，與心智的足夠相似性，常常被視為智能的證明。特別是圖靈測試，有時被表述為假設一個無法與人區分開來的機器，在通過一種阻止直接觀察受訪者的機制進行審問時，就具有固有的智能。
事實上，這並非圖靈在其提議中所說的。他迴避了「思考」這個詞本身，因為它太模糊了。他將這個測試表述為他的「模仿遊戲」，暗示一個能夠充分模仿另一個以欺騙觀察者的實體，可能「等同於思考」。在許多方面，圖靈的原始論文「計算機器與智能」最好被視為一次討論，儘管引人入勝，而不是一個硬性的答案。同樣值得注意的是，它既內在地假設了一個「學習機器」，而不是一個統計機器，又擔心心靈感應（它聲稱「證據……壓倒性」）會破壞測試。
因此，本著這次討論的精神，如果一個 LLM 能表現得像人類，它是否「等同於思考」？嗯，我們知道 LLM 在做什麼，它們並不是在智能地做任何事情；這些純粹是執行純粹模仿的統計設備。它們之所以能「通過」「圖靈測試」，是因為它們複製了答案。
它可能看起來像鴨子，但它不會嘎嘎叫。
LLM 通常使用的「聊天」介面也會產生潛意識的影響；當我們以這種方式與某物互動時，我們都傾向於認為它在某種程度上與我們相等，並且——因為聊天似乎讓我們成為平等的合作夥伴——我們會投入其中。事實上，正是因為我們預期需要反覆迭代回應才能獲得可接受的結果，我們才感覺自己「付出了努力」——一旦達到「可接受」的程度，我們就不傾向於進一步迭代了。
使用的「健談」（或常常是諂媚）的語言也傾向於讓我們相信心智的存在，無論回應本身的品質如何。這類模型的製作者越來越利用這種趨勢，從「機器」名稱（ChatGPT-*）轉向「人類」名稱（Claude 等）。
我們往往對這些人造物似乎在思考感到如此驚訝，以至於我們未能充分分析它們做得有多好。這總是讓我想起普萊契特（Pratchett）的《移動圖片》（Moving Pictures）中的一段話，主角突然意識到他一直在批評的看不見的音樂家是一隻狗：
「你不應該認出那該死的曲子，」加斯帕德（Gaspode）說，沉重地坐下，用後腿勤奮地抓著一隻耳朵。「我是狗。你應該對我能從那該死的東西裡發出點聲音感到非常驚訝。」
當我們對 LLM 產生「加斯帕德時刻」時，我們確實看到了那隻狗。我們確實對電腦似乎在思考感到非常驚訝，以至於我們未能分析這些「想法」的品質，而是延長了我們對任何其他代理人（無論是人類還是軟體）都不會給予的「自願暫停批判」。我們常常足夠驚訝，以至於我們接受了 LLM 的表現水平，而這是我們從任何其他來源都不會接受的。