AI 爬蟲健檢器:分清楚你擋的是訓練還是搜尋|AI101 Day 248
很多站為了不讓 AI 拿內容去訓練,整份貼上「擋掉所有 AI 爬蟲」的 robots.txt,結果連 OAI-SearchBot、PerplexityBot、Claude-SearchBot 這些搜尋索引用的也擋掉,AI 搜尋的回答裡就很難看到你,自己卻還以為是內容寫得不夠好。AI 爬蟲健檢器貼一個網址,真的去抓 robots.txt,照 RFC 9309 判斷十二隻 AI 爬蟲放行或封鎖,分成搜尋、訓練、使用者指定讀取三類,再看不執行 JavaScript 時頁面剩幾個字,以及 llms.txt、sitemap、JSON-LD 與 h1 的狀況,不用登入也不耗額度。
一份 robots.txt 從第一行到最後一行,幾乎都是同一個句型:User-agent 換一個名字,下面接一行 Disallow: /。GPTBot、ClaudeBot、CCBot 在裡面,OAI-SearchBot、PerplexityBot、Claude-SearchBot 也在裡面。這是一個做保養品的品牌主傳給我看的,他說看到 AI 拿網站內容去訓練模型的新聞,心裡不太舒服,就在網路上找了一份「擋掉所有 AI 爬蟲」的清單整份貼上。過了一陣子他問我另一件事:為什麼在 AI 搜尋裡問自家產品的成分,回答引用的都是別人的比較文,幾乎看不到官網。
我請他把那份 robots.txt 再看一次。他想擋的是訓練,可是清單裡有好幾隻是搜尋索引用的爬蟲。不想讓內容被拿去訓練,我覺得是很合理的選擇;但順手把搜尋那幾隻一起擋掉,等於自己把 AI 搜尋的門關上,再回頭納悶回答裡為什麼沒有自己。當然,門打開也不代表一定會被引用,只是門關著的話,連被考慮的機會都沒有。
麻煩的是 robots.txt 很難用眼睛判斷。規則一多,哪一組蓋過哪一組、哪一條路徑說了算,連寫的人自己都不一定講得清楚。AI 爬蟲健檢器做的事情很單純:貼一個網址,它真的去抓你的 robots.txt,照 RFC 9309 的規則逐隻判斷十二隻 AI 爬蟲,告訴你擋掉的到底是哪一種。
這個工具能做什麼
操作頁面只有一個欄位「要檢查的網址」,可以只打網域,例如 example.com,也可以貼某一頁商品頁的完整網址,沒打 https:// 會自動補上。這裡有個小細節要先知道:robots.txt 一律看網域根目錄那一份,你貼的路徑只影響「這一頁能不能被抓」的判斷。所以想知道某個分類頁有沒有被擋,就直接貼那一頁。按下「開始健檢」,它會去抓 robots.txt、llms.txt、sitemap 和你貼的那一頁的原始 HTML,通常兩到六秒就跑完。
結果最上面是一句話結論。搜尋用的爬蟲有被擋,就會寫「搜尋用的 AI 爬蟲有幾隻被你擋住了」,底色是紅的;都進得來就是綠的,旁邊附上 robots.txt 有多大、分成幾組規則。接著是一排發現,用紅黃白綠標出輕重,像是搜尋用的被擋、不執行 JS 時字數太少、沒有 h1 或 h1 不只一個、沒有 JSON-LD、抓不到 sitemap、沒有 llms.txt。
再往下是重點:十二隻 AI 爬蟲分成三區。「搜尋索引」是 OAI-SearchBot、PerplexityBot、Claude-SearchBot 這幾隻,被擋就不會出現在 AI 的回答與引用來源裡,這一組最要緊;「使用者指定讀取」像 ChatGPT-User、Claude-User,被擋的話,別人把你的網址貼進 AI 請它讀會讀不到;「模型訓練」像 GPTBot、ClaudeBot、Google-Extended、CCBot,被擋只影響未來模型會不會學到你的內容,不影響現在被引用。每一隻都會標「放行」「封鎖」或「沒提到」,後面寫出是依它自己那一組還是通用規則 *,以及真正生效的是哪一條。「沒提到」是指 robots.txt 根本沒寫到它、也沒有星號那一組,依規格算放行,工具刻意分開標,免得你以為自己設定過。
最後是「其他可及性檢查」:不執行 JS 的純文字量、h1 h2 h3 各有幾個、JSON-LD 有幾塊和哪些型別、sitemap 有幾個網址、robots.txt 有沒有宣告 sitemap、llms.txt 和 llms-full.txt 在不在、有沒有 canonical 和 meta description。展開「AI 爬蟲看到的開頭 300 字」,就能看到在它眼中你的頁面長什麼樣,也可以展開 robots.txt 原文對照。整個過程是確定性的抓取與解析,不經過 AI,所以不用登入、不耗額度,為了避免被拿去當代理亂抓,每小時上限 20 次。
為什麼這件事值得做好
我覺得這支工具最有價值的地方,是把「訓練」跟「搜尋」拆開來看。很多人對 AI 爬蟲的印象只有一種:它來抓我的東西拿去用。實際上它們分工不同,擋訓練用的,影響的是未來的模型會不會學到你;擋搜尋索引用的,影響的是現在有人在 AI 搜尋裡問問題時,你有沒有機會被引用。兩件事混在一起,就很容易為了前者把後者也賠掉。
第二個原因是 robots.txt 的判斷規則跟直覺不太一樣。很多人以為看到 Disallow 就是擋,其實 RFC 9309 有幾條要一起看:爬蟲自己那一組優先於星號通用組,同一組裡路徑最長的規則贏,長度一樣時 Allow 贏,而 Disallow 後面留空,意思是整站放行,不是整站封鎖。最後這條最容易看反,看反了得到的就是完全相反的結論。還有一種情況是打 /robots.txt 被導回首頁,拿到的其實是一頁 HTML,工具會把這種當成沒有 robots.txt,不會誤判成你有設定。
第三個原因是 robots.txt 只管門有沒有開,不管門後面有沒有東西。AI 爬蟲多數不執行 JavaScript,如果你的頁面內容要靠前端渲染才出現,它抓到的可能只剩選單和頁尾那幾十個字。工具頁的 FAQ 提到,實測台灣某大型電商平台的首頁在不執行 JS 時只剩四十幾個字。這種狀況 robots.txt 開再大也沒用,因為它根本讀不到你寫的東西。
我以前也看反過 Disallow 留空這一條。第一次看到某個站寫著「Disallow:」後面什麼都沒有,直覺以為是整站封鎖,還想提醒對方拿掉,回頭查了規格才發現意思剛好相反。那次之後我比較相信一件事:robots.txt 不要用感覺讀,交給規格判。
幾個實際建議
第一,先貼首頁,再貼一頁你最在意的頁面。首頁看整體,商品頁或文章頁看細部,因為判斷會照你貼的路徑跑,有些站首頁放行、某個資料夾卻被擋,而不執行 JS 的字數也是看你貼的那一頁。兩次加起來不到一分鐘,比只看首頁準很多。
第二,搜尋索引那一區出現紅色的封鎖,先別急著整份重寫。展開 robots.txt 原文,對照工具標出的那條規則,常見的是某一組 User-agent 裡多列了搜尋用的爬蟲,或是星號那一組寫了 Disallow: /,卻沒有幫搜尋用的爬蟲另外開一組。如果你的本意是擋訓練、留搜尋,就讓訓練用的維持封鎖,搜尋用的另外放行,改完再跑一次,確認一句話結論變成綠的。要不要擋訓練是你自己的選擇,工具只負責告訴你現在的設定是什麼。
第三,不執行 JS 的字數如果跳出紅色警告(不到 500 字),這比 robots.txt 更該先處理。展開開頭 300 字,如果看到的只有選單和版權宣告,就要找工程師或平台商談伺服器端渲染或預渲染;用開店平台的話,至少確認商品描述有沒有出現在原始 HTML 裡。
第四,沒有 llms.txt 不用太緊張。工具自己也寫得很清楚,它是新興慣例,還不是正式標準,各家支援程度不一,成本低可以補,但順序排在 robots.txt 和純文字量之後。抓不到 sitemap 是黃色警告,代表新頁面只能靠連結慢慢被發現,這個反而比較值得先補。
小結
robots.txt 像是掛在門口的一張告示,寫什麼是你的權利,但最好清楚自己寫了什麼。我的建議是每次改完 robots.txt、換佈景主題或換開店平台之後都跑一次,兩到六秒,先看一句話結論是紅是綠。也要講清楚:搜尋用的爬蟲都放行、字數也夠,只代表 AI 進得來、讀得到,會不會被引用還要看內容本身。技術這關確認過,再用 GEO 引用檢查器看內容夠不夠被引用,順序會比較對。
這篇有幫助嗎?
立即使用:https://ecom.atmarketing.tw/ai-crawler-check