跳到主要內容
  • 🚪 不用登入就能用
  • 🧮 不經過 AI,不耗額度
AI101AI101 挑戰

101 天,每天用 AI 開發一個工具。
用行動證明 AI 的可能性。

快速連結

工具庫提案需求會員中心

關注我們

Threads @chia.hsun301線上課程

🔗 主站熱門主題

AI Agent 完整指南 (15 篇)DTC 品牌完整指南 (10 篇)AI Coding 工具指南 (10 篇)訂閱制商業模式 (6 篇)品牌興衰案例 (5 篇)全部 250+ 篇專欄 →
© 2026 AI101 挑戰 by 圭話行銷. All rights reserved.
🏠首頁🛠️工具💡提案👤我的
AI101AI101
🛠全部工具🧱工具牆(一次看完)🎯職涯教練🔄文案改寫器🧩工作流拆解📄合約健檢📝補助計畫書🎲預算大富翁
📚指南✍️開發者心得🌟用戶故事
💡提案區🏆排行榜🛟問題回報
兌換
🎯遊戲中心(任務+排行)⚔️每日挑戰王(卡牌對戰)🎰幸運轉輪🌳養成樹🎫九宮格刮刮樂🃏卡片圖鑑🎨外觀商店
登入
工具庫/Day 248
Day 248SEO電商行銷

AI 爬蟲健檢器|擋訓練之前,先別擋到搜尋

💡 功能亮點

🔒

需要 100 積分解鎖

登入後即可使用積分解鎖

📚完整教學AI 爬蟲健檢器:分清楚你擋的是訓練還是搜尋|AI101 Day 248約 6 分鐘閱讀 · 3,211 字去看 →

功能說明

看到 AI 拿網站內容去訓練的新聞,不少人第一個反應是複製一份「擋掉所有 AI 爬蟲」的 robots.txt 貼上。結果擋掉的不只訓練用的 GPTBot,連 OAI-SearchBot、PerplexityBot 這些搜尋索引用的也一起擋了,之後在 AI 搜尋的回答裡就很難看到自己。這工具解什麼痛:貼一個網址,照 RFC 9309 判斷十二隻 AI 爬蟲各自放行還是封鎖,分清楚你擋的是訓練還是搜尋。三類分開看:搜尋索引、使用者指定讀取、模型訓練各列一區,每隻標放行、封鎖或沒提到,並寫出是哪一條規則決定的。照規格判,不看關鍵字:自己那一組優先於星號、路徑最長的規則贏、Disallow 留空等於整站放行,不是看到 Disallow 就算擋。門後面有沒有東西:抓原始 HTML 算不執行 JS 剩幾個字,再查 llms.txt、sitemap、JSON-LD 和 h1。我覺得要不要擋訓練是每個品牌自己的選擇,但至少要知道自己擋掉的是哪一種。

📋 實戰使用情境

看看 3 種真實場景怎麼用「AI 爬蟲健檢器|擋訓練之前,先別擋到搜尋」省下時間

情境 1👤 🕐 想擋 AI 訓練,又怕連搜尋一起擋掉的品牌官網

情境 2👤 🕐 用前端框架做的形象站,想知道 AI 到底讀不讀得到

情境 3👤 🕐 接案行銷人幫客戶做 AI 搜尋前的技術盤點

📚深入閱讀:AI 爬蟲健檢器:分清楚你擋的是訓練還是搜尋|AI101 Day 248→

❓ 常見問題

擋掉 GPTBot,我會從 ChatGPT 的搜尋結果消失嗎?▼

照工具的分類,GPTBot 屬於模型訓練用,擋掉只影響未來模型會不會學到你的內容,不影響現在被引用。決定你會不會出現在 ChatGPT 搜尋結果與引用來源的是 OAI-SearchBot,它被放在「搜尋索引」那一區,一旦被擋,結果頁會列成紅色的發現。

我的 robots.txt 明明有寫 Disallow,為什麼工具判定放行?▼

因為判斷照 RFC 9309 做,不是看有沒有出現 Disallow 這個字。爬蟲自己那一組優先於星號通用組,同組內路徑最長的規則贏,長度相同時 Allow 贏,Disallow 後面留空等於整站放行。結果頁每隻爬蟲旁邊都會寫出依哪一組、哪一條規則判的,可以展開原文對照。

要登入或付費嗎?跑一次要多久?▼

不用登入,也不扣 AI 額度,整個流程只有抓取和解析,沒有呼叫任何 AI,通常兩到六秒跑完。因為它會代你去抓外部網址,為了避免被當成代理濫用,每小時上限 20 次,結果頁最下面會顯示這個小時還能檢查幾次。

使用心得

尚無心得,成為第一個分享的人吧!

🎓

想系統性學 AI?

從工具應用到實戰技巧,小圭的 AI 軟體應用課帶你全面掌握 AI 工作流。

前往課程 →

🎯 你可能也喜歡

用過這個工具的人,也會用這些

AI 能見度記分簿|問完 AI 之後,回來交卷算分
D249

AI 能見度記分簿|問完 AI 之後,回來交卷算分

100 積分相似 87%
AI 搜尋能見度監測器|查你的品牌在 ChatGPT、Perplexity 有沒有被推薦
D165

AI 搜尋能見度監測器|查你的品牌在 ChatGPT、Perplexity 有沒有被推薦

100 積分相似 87%
AI 目標關鍵字規劃器|產業 × 你的商品,一次挑好 10 個投放方向
D175

AI 目標關鍵字規劃器|產業 × 你的商品,一次挑好 10 個投放方向

100 積分相似 86%