作者:ICML 2026 計畫主席 Alekh Agarwal、Miroslav Dudik、Sharon Li、Martin Jaggi,學術誠信主席 Nihar B. Shah,以及溝通主席 Katherine Gorman 和 Gautam Kamath。
人工智慧(AI)已日益成為研究人員工作流程中的寶貴部分。然而,若使用不當,AI 可能會損害同儕審查的誠信。會議必須適應,制定規則和政策來應對新常態,並對違反規則、辜負信任的行為者採取紀律處分。
ICML 正在積極適應。今年,我們駁回了 497 篇論文(約占總投稿數的 2%),這些論文來自 398 名違反先前明確同意的 LLM 使用規則的相互審稿人。
ICML 2026 有兩項關於在審查中使用 LLM 的政策:
此雙政策框架是基於社群的偏好和回饋所形成 — 事實上,社群對於在同儕審查中最佳使用 LLM 的方式存在分歧,作者同意與審稿人偏好工作流程等問題相互衝突。有關政策的更多詳細資訊,請參閱此處。
經過一個選擇過程,審稿人可以選擇他們希望遵循的政策,然後被分配到政策 A 或政策 B。最終,根據作者的要求和審稿人的註冊情況,只有明確選擇「政策 A」或「我同意政策 A 或 B」的審稿人才被分配到政策 A(不得使用 LLM)。需要明確的是,沒有強烈偏好政策 B 的審稿人被分配到政策 A。
我們偵測到 795 份審稿(約占總審稿數的 1%)是由 506 名被分配到政策 A(不得使用 LLM)的獨特審稿人撰寫的。再次提醒,這些審稿人已明確同意不在審稿中使用 LLM。所使用的偵測方法將在下方說明,並且沒有使用通用的 AI 文本偵測器。所有標記的案例都經過人工驗證,以避免誤判。
如果投稿的指定相互審稿人產生了此類審稿,則其投稿將被拒。總計導致 497 篇投稿被拒,涉及 398 名相互審稿人。所有被偵測為 LLM 生成的政策 A(不得使用 LLM)審稿均已從系統中移除。如果政策 A 審稿人提交的審稿中,超過一半被偵測為 LLM 生成,則其所有審稿均被刪除,該審稿人本身也會被移除。有 51 名政策 A 審稿人被偵測到在其超過一半的審稿中使用 LLM,這約占總計 506 名被偵測到違規審稿人的 10%。
需要明確的是,我們並未對標記的審稿品質或審稿人的意圖做出判斷。這僅僅是聲明該審稿人在撰寫審稿時,在某個時間點使用了 LLM,這不幸地違反了他們同意遵守的政策。
我們對此將對同儕審查過程造成的干擾感到遺憾。我們已與受影響的 SAC 和 AC 進行直接溝通,並盡力提供支持。違反政策的審稿已被移除,AC 可能需要尋找新的審稿人。一些已收到完整審稿的投稿已被直接拒絕。而一些投稿被直接拒絕的審稿人可能會變得無法聯繫。
總體而言,LLM 偵測涉及對投稿 PDF 進行浮水印處理,嵌入隱藏的 LLM 指令,這些指令會微妙地影響通過 LLM 產生的任何審稿。請注意,這並非難以規避的措施,特別是當其公開時(在幾乎整個審稿期間都是如此)。事實上,它可能只會捕捉到審稿中最嚴重和最粗心的 LLM 使用情況,即審稿人將 PDF 輸入 LLM,然後直接複製貼上 LLM 的輸出。僅對明確由同意不使用 LLM 的審稿人(政策 A)撰寫的審稿採取了行動。儘管有這些注意事項,仍有 795 份審稿(約占總審稿數的 1%)被發現違反了政策。
所使用的偵測方法基於 Rao、Kumar、Lakkaraju 和 Shah 的近期研究。首先,我們創建了一個包含 170,000 個詞組的字典。對於每篇論文,我們從該字典中隨機抽取兩個詞組。因此,一對詞組被選中的機率小於十億分之一。我們在每篇投稿的 PDF 中嵌入了只有 LLM 可見的指令,指示它在審稿中包含這兩個選定的詞組。(人類閱讀 PDF 時不會直接看到此浮水印。)
此技術並不總能成功偵測到 LLM 生成的審稿。審稿人可能會發現浮水印並將其移除或繞過。審稿文本可能會被修改。LLM 可能會忽略隱藏的指令。在提交截止日期前不久進行的實驗中,前沿的 LLM 通常(但不總是)遵循了注入的指令。對於大多數模型,成功率超過 80%,這可能取決於某些 LLM 讀取 PDF 的方法。
審稿人可能會擔心他們的審稿被錯誤標記,這是可以理解的。如我們所使用的方法的論文所述,誤判率受到嚴格控制。所有標記的案例也都經過人工檢查,以確保審稿並非僅僅提及浮水印的存在。
審稿人可能在許多方面未能達到我們的期望,無論是否涉及 AI。此舉措僅關注一種特定行為(違反先前約定的 LLM 使用規則),但仍發現約 1% 的總審稿存在此問題。
我們希望通過對違反約定政策的行為採取強硬措施,提醒社群,隨著我們領域的快速變化,我們最需要積極保護的是彼此之間的信任。如果我們無法在基於信任的環境中適應我們的系統,我們將發現它們很快就會過時且毫無意義。
我們已計算出,即使是單一篇被要求遵循政策 A 的投稿審稿被錯誤標記的機率。此機率為 0.0001(家族錯誤率)。
此文的原始版本聲稱 497 篇論文(由 506 名相互審稿人合著)被直接拒絕。這 497 篇論文實際上對應於 398 名相互審稿人的投稿,其餘 108 名被標記的審稿人並非活躍投稿的相互審稿人。上述文字已編輯以反映此情況。