當有人向AI助理詢問我經營的網站時，助理究竟是直接抓取頁面，還是從先前建立的索引中回答？我想要一個明確答案，因此設置了nginx探測，並用應該會強制即時抓取的查詢來測試主要聊天機器人。本文即是伺服器記錄的內容，以及你可以安全測量的資訊。

「AI流量」通常指兩種情況之一，nginx日誌讓這兩者差異變得明顯。

將兩者合併成單一AI流量數字會掩蓋數據中最有用的區別。一種是模型主動抓取頁面；另一種是人類因模型指引而點擊閱讀。

自訂的nginx日誌格式捕捉了預設合併日誌中被壓縮掉的標頭：

每個助理都收到指向獨特查詢字串的提示（如/?ai=chatgpt、/?ai=claude等），因此我能透過單一grep判斷哪次請求來自哪個助理。我在多個會話中重複執行提示，避免暫時快取影響檢測路徑。

五個助理在用戶代理中帶有特定的檢索信號。

三個助理則沒有明顯的檢索用戶代理可供辨識。

ChatGPT-User在同一波請求中來自多個來源IP，通常同時拉取多個候選頁面，模型決定引用哪個。在我另一個生產網站的24小時觀察中，ChatGPT-User請求來自五個不同Azure IP範圍：23.98.x.x、20.215.x.x、40.67.x.x、51.8.x.x和51.107.x.x。這與OpenAI官方文件中描述的代理相符。如果你僅依單一IP限制頻率，會低估流量。

Claude-User在每次頁面抓取前會先拉取/robots.txt，IP來自Anthropic擁有的216.73.216.0/24範圍。重定向被正常跟隨，包括尾部斜線的標準化。這種robots預檢符合Anthropic爬蟲文件的行為。如果你想讓Claude跳過你的網站，可在robots.txt加入User-agent: Claude-User disallow，Claude會在下一次抓取時遵守。Anthropic還有兩個不同的機器人：Claude-SearchBot（搜尋索引）和ClaudeBot（訓練爬蟲），只有Claude-User代表真實用戶向Claude提問。

Perplexity-User直接抓取頁面，無Accept標頭，也無referrer。另有PerplexityBot（搜尋索引爬蟲）會ping /robots.txt。我捕捉到的Perplexity實際抓取次數不多，且Perplexity可從自身索引回答問題，不一定要即時抓取。詳見Perplexity爬蟲文件。

探測期間，gemini.google.com和google.com帶來真實點擊流量，代表用戶在閱讀答案後點擊引用連結，這部分訊號清晰。供應商抓取端則無流量。

有兩點觀察：

微軟Copilot以Linux x86_64上的Chrome 135身份抓取頁面，帶有完整瀏覽器Accept標頭及CSS、JS、圖片等資源請求。無明顯Copilot用戶代理，提示期間無Bingbot活動。根據微軟對生成式AI與公開網站的指引，Copilot基於Bingbot建立的Bing索引，但我們觀察到的即時抓取並非Bingbot。僅憑日誌無法透過用戶代理明確判定Copilot抓取。

Grok以Mac Safari 26及Mac Chrome 143身份抓取，無明顯用戶代理或標頭可辨識為xAI。Grok未記錄任何檢索專用機器人。與Copilot相同，無法從請求中辨識。

Gemini、Copilot和Grok三大聊天機器人中，Gemini在供應商抓取日誌中不可見，Copilot和Grok則與普通人類訪客無異。若只靠日誌測量AI流量，這三者將被漏掉。

Meta似乎維持自己的索引，類似Google。獨立測試中，Meta AI回傳的資訊已不在現場頁面，符合先索引後抓取的模式：已知頁面從索引服務，未知頁面才即時抓取。

Meta在探測中即時抓取時（透過Muse Spark介面），請求以meta-webindexer/1.1身份出現，Accept為*/*。Meta官方爬蟲文件描述另一機器人Meta-ExternalFetcher，為Facebook、Messenger、Instagram和WhatsApp AI功能的用戶主動抓取機器人，且可能繞過robots.txt，因為是人類或代理點擊特定連結。

每次會話僅出現其中一個機器人，無法判斷觸發因素是產品介面、首次或重複抓取、先前索引狀態或其他。meta-webindexer與Meta-ExternalFetcher皆為Meta的即時抓取機器人，若想明確封鎖，需分別依用戶代理設定。

Manus以Mozilla/5.0 ... Chrome/132.0 ... ; Manus-User/1.0身份抓取。Manus-User/1.0後綴是辨識Manus的關鍵。與其他代理不同，Manus會完整渲染頁面，包括HTML、所有CSS、JS和圖片。此探測中，Manus是唯一在用戶代理中清楚標示且易於辨識的代理。

從日誌中可測量兩件事，無需猜測：

供應商文件或探測觀察到的檢索用戶代理，包括ChatGPT-User、Claude-User、Perplexity-User、Manus-User、Meta-ExternalFetcher（有文件）和meta-webindexer（觀察到，Meta機器人類別尚不完全清楚）。

以正常瀏覽器用戶代理且聊天機器人為推薦來源的請求，來源包括chatgpt.com、claude.ai、perplexity.ai、gemini.google.com、copilot.microsoft.com、grok.com、meta.ai，以及google.com和bing.com（無法僅用HTTP區分AI模式或Copilot與傳統搜尋）。

搜尋索引機器人（OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Bingbot）也會出現在日誌，但它們不是回答用戶問題的AI，而是在建立索引，不應計入即時檢索。訓練機器人（GPTBot、ClaudeBot、CCBot）則是另一類信號，也不應計入檢索。

值得一提的是，搜尋索引和訓練機器人不會因特定用戶查詢而即時抓取，因此它們在此類探測中缺席是結構性現象，不代表不存在。測量訓練或索引活動需長時間日誌分析，而非提示驅動測試。

微軟Copilot和Grok未列入此表，因兩者皆無檢索專用用戶代理，我們觀察到的即時抓取均以普通瀏覽器身份出現。

我們的robots.txt檢查工具會讀取你的即時robots.txt，報告目前允許或封鎖哪些檢索、搜尋和訓練用戶代理，無需帳號。這是快速將上述資訊轉化為你網站具體答案的最佳方式。

我是Ali Khallad，一名擁有超過10年線上業務客戶開發經驗的開發者。不寫程式時，我喜歡旅行、騎馬，或尋找當地美食。

反覆向AI詢問同一購買問題，引用來源會變動。我們測量了不同檢查間的變化，發現與引擎和問題有關。

我們記錄了約26,400個AI回答，涵蓋五個助理。品牌被引用或提及的比例僅16%。以下是各引擎的分布及原因。

我們分類了五個AI引擎實際引用的151,000個來源。開放網路是所有引擎的主體，但偏好不同：Google AI模式偏好YouTube，ChatGPT偏好論壇，Claude幾乎不引用這兩者。

這些資料對行銷、SEO、成長及代理團隊的AI搜尋能見度極具價值，有助追蹤、診斷並提升AI推薦你的品牌的效果。