應該允許哪些 AI 爬蟲，又如何分開控制訓練用途？
保留需要的搜尋路徑，訓練另外選。查實際 robots.txt、Google AI 設定與自己管理的 Cloudflare。
· 更新於 2026年9月21日
- 查證於
- 2026年9月21日
付費協助與免費選項
- 現有免費選項
- Shopify 提供 robots.txt，並管理其託管店面的網路層機器人存取。檢視預設內容不需要安裝應用程式。 [9]
保留需要的搜尋路徑，訓練用途另外選。 全面封鎖 AI 機器人，可能也阻擋你希望助理使用的路徑。
先查正確網域
讀取各相關主機的 /robots.txt。Shopify 說明將爬取與 Catalog 分享分開；託管店面的網路層由 Shopify 管理，不建議在前方加代理。
robots.txt.liquid 與主題維護者一起看。另行託管的前端或部落格可能有自己的 Cloudflare 區域；只有 Cloudflare DNS 不代表請求受其過濾。
用途分開選
| 供應商與來源 | 希望保留的搜尋路徑 | 獨立的訓練或其他用途控制 |
|---|---|---|
| OpenAI | OAI-SearchBot 支援 ChatGPT 搜尋 | GPTBot 控制可能用於模型訓練的內容 |
| Anthropic | Claude-SearchBot 支援搜尋索引 | ClaudeBot 蒐集可能用於訓練的內容 |
| Perplexity | PerplexityBot 支援搜尋 | Perplexity 表示此爬蟲不為基礎模型訓練而爬取 |
Googlebot 支援 Search | Google-Extended 控制文件列明的 Gemini 訓練與 grounding 用途；沒有獨立 HTTP 使用者代理，也不影響 Search 收錄或排名 | |
| Meta | Meta-WebIndexer 支援搜尋檢索 | Meta-ExternalAgent 涵蓋訓練及文件列明的其他用途 |
| Amazon | Amzn-SearchBot 支援 Alexa 等搜尋體驗 | Amazonbot 可能蒐集 AI 訓練內容 |
核對商品網址適用的規則，包括萬用字元與路徑。購物車／後台封鎖不是刪除 Shopify 預設的理由。封鎖 OAI-SearchBot 會退出 ChatGPT 搜尋回答，但仍可能有導覽連結。
使用者請求另看：Claude-User 遵守 robots.txt，封鎖後不能為查詢取資料。ChatGPT-User、Perplexity-User、Amzn-User 可能不遵守；Meta-ExternalFetcher 也做使用者擷取。robots.txt 不是對所有工具都強制有效的權限控制。
查看 Google AI 設定
Google AI 說明把 Googlebot 存取列為一項條件。獨立的 Search generative AI control於 2026 年 8 月 31 日全球推出。
在 Search Console > Settings > Search generative AI 確認值與繼承。排除會移除涵蓋功能的 AI 內容與連結，不改其他搜尋收錄或排名，不覆蓋 Merchant Center，也不控制訓練。
只查你管理的 Cloudflare
Bot Preference Sync在原 robots.txt 上方加規則，需一起讀實際輸出與 Security 設定。
- Disallow AI Training： 發布適用的拒絕訓練偏好，保留 Accountable 混合用途的 Googlebot／Applebot／Bingbot 搜尋，封鎖其他訓練爬蟲。
- Block： 連混合用途爬蟲一起封鎖。Block on pages with ads 在偵測到廣告的頁面封鎖，即使 Search 顯示 Allow。
舊 Training Block 會轉成 Disallow AI Training；先看現值，不要直接認定新封鎖。Bing 拒絕訓練偏好尚未自動透過 robots.txt 傳達，需使用其官方操作控制。
核對受影響商品網址，記下訓練、Google 與 Cloudflare 選擇，就完成。正確設定不必改。允許不能證明抓取、索引、引用、商品入選或成交。