Day 248#SEO#電商#行銷

AI 爬蟲健檢器:分清楚你擋的是訓練還是搜尋|AI101 Day 248

很多站為了不讓 AI 拿內容去訓練,整份貼上「擋掉所有 AI 爬蟲」的 robots.txt,結果連 OAI-SearchBot、PerplexityBot、Claude-SearchBot 這些搜尋索引用的也擋掉,AI 搜尋的回答裡就很難看到你,自己卻還以為是內容寫得不夠好。AI 爬蟲健檢器貼一個網址,真的去抓 robots.txt,照 RFC 9309 判斷十二隻 AI 爬蟲放行或封鎖,分成搜尋、訓練、使用者指定讀取三類,再看不執行 JavaScript 時頁面剩幾個字,以及 llms.txt、sitemap、JSON-LD 與 h1 的狀況,不用登入也不耗額度。

📖 約 7 分鐘閱讀3,211 字2026/11/14

一份 robots.txt 從第一行到最後一行,幾乎都是同一個句型:User-agent 換一個名字,下面接一行 Disallow: /。GPTBot、ClaudeBot、CCBot 在裡面,OAI-SearchBot、PerplexityBot、Claude-SearchBot 也在裡面。這是一個做保養品的品牌主傳給我看的,他說看到 AI 拿網站內容去訓練模型的新聞,心裡不太舒服,就在網路上找了一份「擋掉所有 AI 爬蟲」的清單整份貼上。過了一陣子他問我另一件事:為什麼在 AI 搜尋裡問自家產品的成分,回答引用的都是別人的比較文,幾乎看不到官網。

我請他把那份 robots.txt 再看一次。他想擋的是訓練,可是清單裡有好幾隻是搜尋索引用的爬蟲。不想讓內容被拿去訓練,我覺得是很合理的選擇;但順手把搜尋那幾隻一起擋掉,等於自己把 AI 搜尋的門關上,再回頭納悶回答裡為什麼沒有自己。當然,門打開也不代表一定會被引用,只是門關著的話,連被考慮的機會都沒有。

麻煩的是 robots.txt 很難用眼睛判斷。規則一多,哪一組蓋過哪一組、哪一條路徑說了算,連寫的人自己都不一定講得清楚。AI 爬蟲健檢器做的事情很單純:貼一個網址,它真的去抓你的 robots.txt,照 RFC 9309 的規則逐隻判斷十二隻 AI 爬蟲,告訴你擋掉的到底是哪一種。

這個工具能做什麼

操作頁面只有一個欄位「要檢查的網址」,可以只打網域,例如 example.com,也可以貼某一頁商品頁的完整網址,沒打 https:// 會自動補上。這裡有個小細節要先知道:robots.txt 一律看網域根目錄那一份,你貼的路徑只影響「這一頁能不能被抓」的判斷。所以想知道某個分類頁有沒有被擋,就直接貼那一頁。按下「開始健檢」,它會去抓 robots.txt、llms.txt、sitemap 和你貼的那一頁的原始 HTML,通常兩到六秒就跑完。

結果最上面是一句話結論。搜尋用的爬蟲有被擋,就會寫「搜尋用的 AI 爬蟲有幾隻被你擋住了」,底色是紅的;都進得來就是綠的,旁邊附上 robots.txt 有多大、分成幾組規則。接著是一排發現,用紅黃白綠標出輕重,像是搜尋用的被擋、不執行 JS 時字數太少、沒有 h1 或 h1 不只一個、沒有 JSON-LD、抓不到 sitemap、沒有 llms.txt。

再往下是重點:十二隻 AI 爬蟲分成三區。「搜尋索引」是 OAI-SearchBot、PerplexityBot、Claude-SearchBot 這幾隻,被擋就不會出現在 AI 的回答與引用來源裡,這一組最要緊;「使用者指定讀取」像 ChatGPT-User、Claude-User,被擋的話,別人把你的網址貼進 AI 請它讀會讀不到;「模型訓練」像 GPTBot、ClaudeBot、Google-Extended、CCBot,被擋只影響未來模型會不會學到你的內容,不影響現在被引用。每一隻都會標「放行」「封鎖」或「沒提到」,後面寫出是依它自己那一組還是通用規則 *,以及真正生效的是哪一條。「沒提到」是指 robots.txt 根本沒寫到它、也沒有星號那一組,依規格算放行,工具刻意分開標,免得你以為自己設定過。

最後是「其他可及性檢查」:不執行 JS 的純文字量、h1 h2 h3 各有幾個、JSON-LD 有幾塊和哪些型別、sitemap 有幾個網址、robots.txt 有沒有宣告 sitemap、llms.txt 和 llms-full.txt 在不在、有沒有 canonical 和 meta description。展開「AI 爬蟲看到的開頭 300 字」,就能看到在它眼中你的頁面長什麼樣,也可以展開 robots.txt 原文對照。整個過程是確定性的抓取與解析,不經過 AI,所以不用登入、不耗額度,為了避免被拿去當代理亂抓,每小時上限 20 次。

為什麼這件事值得做好

我覺得這支工具最有價值的地方,是把「訓練」跟「搜尋」拆開來看。很多人對 AI 爬蟲的印象只有一種:它來抓我的東西拿去用。實際上它們分工不同,擋訓練用的,影響的是未來的模型會不會學到你;擋搜尋索引用的,影響的是現在有人在 AI 搜尋裡問問題時,你有沒有機會被引用。兩件事混在一起,就很容易為了前者把後者也賠掉。

第二個原因是 robots.txt 的判斷規則跟直覺不太一樣。很多人以為看到 Disallow 就是擋,其實 RFC 9309 有幾條要一起看:爬蟲自己那一組優先於星號通用組,同一組裡路徑最長的規則贏,長度一樣時 Allow 贏,而 Disallow 後面留空,意思是整站放行,不是整站封鎖。最後這條最容易看反,看反了得到的就是完全相反的結論。還有一種情況是打 /robots.txt 被導回首頁,拿到的其實是一頁 HTML,工具會把這種當成沒有 robots.txt,不會誤判成你有設定。

第三個原因是 robots.txt 只管門有沒有開,不管門後面有沒有東西。AI 爬蟲多數不執行 JavaScript,如果你的頁面內容要靠前端渲染才出現,它抓到的可能只剩選單和頁尾那幾十個字。工具頁的 FAQ 提到,實測台灣某大型電商平台的首頁在不執行 JS 時只剩四十幾個字。這種狀況 robots.txt 開再大也沒用,因為它根本讀不到你寫的東西。

我以前也看反過 Disallow 留空這一條。第一次看到某個站寫著「Disallow:」後面什麼都沒有,直覺以為是整站封鎖,還想提醒對方拿掉,回頭查了規格才發現意思剛好相反。那次之後我比較相信一件事:robots.txt 不要用感覺讀,交給規格判。

幾個實際建議

第一,先貼首頁,再貼一頁你最在意的頁面。首頁看整體,商品頁或文章頁看細部,因為判斷會照你貼的路徑跑,有些站首頁放行、某個資料夾卻被擋,而不執行 JS 的字數也是看你貼的那一頁。兩次加起來不到一分鐘,比只看首頁準很多。

第二,搜尋索引那一區出現紅色的封鎖,先別急著整份重寫。展開 robots.txt 原文,對照工具標出的那條規則,常見的是某一組 User-agent 裡多列了搜尋用的爬蟲,或是星號那一組寫了 Disallow: /,卻沒有幫搜尋用的爬蟲另外開一組。如果你的本意是擋訓練、留搜尋,就讓訓練用的維持封鎖,搜尋用的另外放行,改完再跑一次,確認一句話結論變成綠的。要不要擋訓練是你自己的選擇,工具只負責告訴你現在的設定是什麼。

第三,不執行 JS 的字數如果跳出紅色警告(不到 500 字),這比 robots.txt 更該先處理。展開開頭 300 字,如果看到的只有選單和版權宣告,就要找工程師或平台商談伺服器端渲染或預渲染;用開店平台的話,至少確認商品描述有沒有出現在原始 HTML 裡。

第四,沒有 llms.txt 不用太緊張。工具自己也寫得很清楚,它是新興慣例,還不是正式標準,各家支援程度不一,成本低可以補,但順序排在 robots.txt 和純文字量之後。抓不到 sitemap 是黃色警告,代表新頁面只能靠連結慢慢被發現,這個反而比較值得先補。

小結

robots.txt 像是掛在門口的一張告示,寫什麼是你的權利,但最好清楚自己寫了什麼。我的建議是每次改完 robots.txt、換佈景主題或換開店平台之後都跑一次,兩到六秒,先看一句話結論是紅是綠。也要講清楚:搜尋用的爬蟲都放行、字數也夠,只代表 AI 進得來、讀得到,會不會被引用還要看內容本身。技術這關確認過,再用 GEO 引用檢查器看內容夠不夠被引用,順序會比較對。

這篇有幫助嗎?

立即使用:https://ecom.atmarketing.tw/ai-crawler-check

立即實際體驗 AI 爬蟲健檢器|擋訓練之前,先別擋到搜尋

加入 AI101 挑戰平台,解鎖這個工具並拿到實用範本與教學。

❓ 常見問題

擋掉 GPTBot,我會從 ChatGPT 的搜尋結果消失嗎?

照工具的分類,GPTBot 屬於模型訓練用,擋掉只影響未來模型會不會學到你的內容,不影響現在被引用。決定你會不會出現在 ChatGPT 搜尋結果與引用來源的是 OAI-SearchBot,它被放在「搜尋索引」那一區,一旦被擋,結果頁會列成紅色的發現。

我的 robots.txt 明明有寫 Disallow,為什麼工具判定放行?

因為判斷照 RFC 9309 做,不是看有沒有出現 Disallow 這個字。爬蟲自己那一組優先於星號通用組,同組內路徑最長的規則贏,長度相同時 Allow 贏,Disallow 後面留空等於整站放行。結果頁每隻爬蟲旁邊都會寫出依哪一組、哪一條規則判的,可以展開原文對照。

要登入或付費嗎?跑一次要多久?

不用登入,也不扣 AI 額度,整個流程只有抓取和解析,沒有呼叫任何 AI,通常兩到六秒跑完。因為它會代你去抓外部網址,為了避免被當成代理濫用,每小時上限 20 次,結果頁最下面會顯示這個小時還能檢查幾次。

同分類的其他指南