Google 週四宣布，「有商業動機」的行為者僅透過提示，就試圖複製其 Gemini AI 聊天機器人的知識。
據報導，其中一個惡意對話階段在各種非英語語言中向該模型發出了超過十萬次提示，收集回應以訓練一個成本較低的仿冒品。
Google 發布的發現，相當於對其自身產品威脅的季度自我評估，將該公司描繪成受害者和英雄，這在這些自行撰寫的評估中並不罕見。
Google 將非法活動稱為「模型提取」，並認為這是知識產權盜竊，這是一個有些敏感的立場，因為 Google 的 LLM 是在未經許可的情況下，從網路上抓取的材料建立的。
Google 對仿冒行為並不陌生。
2023 年，《The Information》報導稱，Google 的 Bard 團隊被指控使用 ShareGPT 上的 ChatGPT 輸出，一個用戶分享聊天機器人對話的公開網站，來協助訓練其自身的聊天機器人。
有影響力的 BERT 語言模型創始人、Google 高階 AI 研究員 Jacob Devlin 向領導層警告，這違反了 OpenAI 的服務條款，隨後他辭職並加入了 OpenAI。
Google 否認了這一說法，但據報導已停止使用該數據。
儘管如此，Google 的服務條款禁止人們以這種方式從其 AI 模型中提取數據，而該報導揭示了某些陰暗的 AI 模型複製策略。
該公司認為罪魁禍首主要是尋求競爭優勢的私人公司和研究人員，並表示攻擊來自世界各地。
Google 拒絕點名嫌疑人。
通常，業界將這種透過現有模型輸出訓練新模型的做法稱為「蒸餾」，其原理如下：
如果您想建立自己的大型語言模型（LLM），但又缺乏 Google 訓練 Gemini 所需的數十億美元和多年的工作，您可以將先前訓練好的 LLM 作為捷徑。
為此，您需要向現有的 AI 模型輸入數千個精心挑選的提示，收集所有回應，然後使用這些輸入-輸出對來訓練一個更小、更便宜的模型。
結果將會密切模仿父模型的輸出行為，但整體通常會更小。
這並不完美，但它可能比希望從包含大量雜訊的隨機網際網路數據中建立一個有用的模型，是一種更有效的訓練技術。
仿冒模型從未見過 Gemini 的程式碼或訓練數據，但透過研究其足夠多的輸出，它可以學會複製其許多功能。
您可以將其想像成透過訂購菜單上的所有菜餚，並僅從口味和外觀逆向工程廚師的食譜。
在 Google 發布的報告中，其威脅情報小組描述了針對 Gemini 的蒸餾攻擊日益增長。
許多攻擊活動特別針對幫助模型執行模擬推理任務或逐步決定如何處理資訊的演算法。
Google 表示，他們已識別出這次十萬次提示的攻擊活動，並調整了 Gemini 的防禦措施，但並未詳細說明這些對策涉及哪些內容。
Google 並非唯一一家擔心蒸餾的公司。
去年，OpenAI 指控中國競爭對手 DeepSeek 利用蒸餾來改進其自身模型，此後該技術已在業界傳播，成為從大型模型構建更小、更便宜的 AI 模型的一種標準。
標準蒸餾與盜竊之間的界線，取決於您正在蒸餾誰的模型以及您是否獲得許可，這是一個科技公司花費數十億美元試圖保護但沒有法院測試過的區別。
自至少 GPT-3 時代以來，競爭對手一直在使用蒸餾來複製 AI 語言模型的功能，自 ChatGPT 推出以來，它一直是熱門目標。
2023 年 3 月，在 Meta 的 LLaMA 模型權重洩露到網路上後不久，史丹佛大學的研究人員透過在 OpenAI 的 GPT-3.5 生成的 52,000 個輸出上進行微調，建立了一個名為 Alpaca 的模型。
總成本約為 600 美元。
結果的行為與 ChatGPT 非常相似，引發了關於一旦 AI 模型的能力可透過 API 存取，是否還有任何 AI 模型的能力可以受到保護的即時問題。
同年晚些時候，Elon Musk 的 xAI 推出了其 Grok 聊天機器人，該機器人在拒絕某些請求時，立即引用了「OpenAI 的使用案例政策」。
一位 xAI 工程師將此歸咎於網頁抓取過程中意外攝入了 ChatGPT 的輸出，但這種行為的特異性，甚至包括 ChatGPT 特有的拒絕措辭和將回應包裝在「總體而言…」總結中的習慣，讓 AI 社群中的許多人感到懷疑。
只要 LLM 可供公眾存取，就沒有萬無一失的技術障礙可以阻止有決心的行為者隨著時間推移對他人的模型做同樣的事情（儘管速率限制有幫助），這正是 Google 所說的 Gemini 所發生的情況。
蒸餾也發生在公司內部，並且經常被用於創建較舊、較大 AI 模型的可運行的小型、快速版本。
例如，OpenAI 創建了 GPT-4o Mini 作為 GPT-4o 的蒸餾版本，而 Microsoft 則使用大型模型生成的精心篩選的合成數據，構建了其緊湊的 Phi-3 模型系列。
DeepSeek 也正式發布了其 R1 推理模型的六個蒸餾版本，其中最小的版本可以在筆記型電腦上運行。