情境 1👤 🕐 想擋 AI 訓練,又怕連搜尋一起擋掉的品牌官網
- 🚪 不用登入就能用
- 🧮 不經過 AI,不耗額度
需要 100 積分解鎖
登入後即可使用積分解鎖
看看 3 種真實場景怎麼用「AI 爬蟲健檢器|擋訓練之前,先別擋到搜尋」省下時間
照工具的分類,GPTBot 屬於模型訓練用,擋掉只影響未來模型會不會學到你的內容,不影響現在被引用。決定你會不會出現在 ChatGPT 搜尋結果與引用來源的是 OAI-SearchBot,它被放在「搜尋索引」那一區,一旦被擋,結果頁會列成紅色的發現。
因為判斷照 RFC 9309 做,不是看有沒有出現 Disallow 這個字。爬蟲自己那一組優先於星號通用組,同組內路徑最長的規則贏,長度相同時 Allow 贏,Disallow 後面留空等於整站放行。結果頁每隻爬蟲旁邊都會寫出依哪一組、哪一條規則判的,可以展開原文對照。
不用登入,也不扣 AI 額度,整個流程只有抓取和解析,沒有呼叫任何 AI,通常兩到六秒跑完。因為它會代你去抓外部網址,為了避免被當成代理濫用,每小時上限 20 次,結果頁最下面會顯示這個小時還能檢查幾次。
尚無心得,成為第一個分享的人吧!