# 應該允許哪些 AI 爬蟲，又如何分開控制訓練用途？

> 保留需要的搜尋路徑，訓練另外選。查實際 robots.txt、Google AI 設定與自己管理的 Cloudflare。

2026年9月5日 · 更新於 2026年9月21日 · 查證於 2026年9月21日

https://app.ai-commerce-ready.com/blog/zh-tw/which-ai-crawlers-to-allow-in-robots-txt/

## 適用情況

你希望助理能讀取公開商品頁、應用程式提議封鎖 AI 機器人，或 Cloudflare 提醒你檢視爬蟲偏好。 [9][10]

## 不適用情況

不要透過爬蟲設定改變已啟用的 Shopify Catalog 通路；其商品資料分享獨立於 robots.txt。 [9]

## 為什麼重要

全面封鎖機器人可能關閉搜尋路徑。Cloudflare 目前的 Training Block 也會阻擋兼具搜尋用途的爬蟲，Disallow AI Training 則有不同效果。 [1][11]

## 怎麼做

查商品網址規則，保留需要的搜尋與使用者請求路徑，訓練另外選；再核對適用的 Google 與 Cloudflare 控制。 [1][6][11]

## 何時完成

已核對希望允許的搜尋爬蟲能否存取公開商品、記錄訓練選擇，並確認適用的 Google 與 Cloudflare 設定。 [9][6][11]

## 不能證明什麼

robots.txt 允許規則只移除一項存取限制，不能證明成功擷取、索引、引用、商品被選中或銷售。 [9][1]

## 付費協助與免費選項

- 何時值得付費協助: 針對明確的主題規則衝突、防火牆或 CDN 存取問題，若先列出受影響網址與驗證步驟，付費協助可能有價值。 [9][11]
- 現有免費選項: Shopify 提供 robots.txt，並管理其託管店面的網路層機器人存取。檢視預設內容不需要安裝應用程式。 [9]

**保留需要的搜尋路徑，訓練用途另外選。** 全面封鎖 AI 機器人，可能也阻擋你希望助理使用的路徑。

## 先查正確網域

讀取各相關主機的 `/robots.txt`。[Shopify 說明](https://help.shopify.com/en/manual/promoting-marketing/seo/editing-robots-txt)將爬取與 Catalog 分享分開；託管店面的網路層由 Shopify 管理，不建議在前方加代理。

`robots.txt.liquid` 與主題維護者一起看。另行託管的前端或部落格可能有自己的 Cloudflare 區域；只有 Cloudflare DNS 不代表請求受其過濾。

## 用途分開選

| 供應商與來源 | 希望保留的搜尋路徑 | 獨立的訓練或其他用途控制 |
|---|---|---|
| [OpenAI](https://developers.openai.com/api/docs/bots) | `OAI-SearchBot` 支援 ChatGPT 搜尋 | `GPTBot` 控制可能用於模型訓練的內容 |
| [Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) | `Claude-SearchBot` 支援搜尋索引 | `ClaudeBot` 蒐集可能用於訓練的內容 |
| [Perplexity](https://docs.perplexity.ai/guides/bots) | `PerplexityBot` 支援搜尋 | Perplexity 表示此爬蟲不為基礎模型訓練而爬取 |
| [Google](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) | `Googlebot` 支援 Search | `Google-Extended` 控制文件列明的 Gemini 訓練與 grounding 用途；沒有獨立 HTTP 使用者代理，也不影響 Search 收錄或排名 |
| [Meta](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers) | `Meta-WebIndexer` 支援搜尋檢索 | `Meta-ExternalAgent` 涵蓋訓練及文件列明的其他用途 |
| [Amazon](https://developer.amazon.com/amazonbot) | `Amzn-SearchBot` 支援 Alexa 等搜尋體驗 | `Amazonbot` 可能蒐集 AI 訓練內容 |

核對商品網址適用的規則，包括萬用字元與路徑。購物車／後台封鎖不是刪除 Shopify 預設的理由。封鎖 OAI-SearchBot 會退出 ChatGPT 搜尋回答，但仍可能有導覽連結。

使用者請求另看：`Claude-User` 遵守 robots.txt，封鎖後不能為查詢取資料。`ChatGPT-User`、`Perplexity-User`、`Amzn-User` 可能不遵守；`Meta-ExternalFetcher` 也做使用者擷取。robots.txt 不是對所有工具都強制有效的權限控制。

## 查看 Google AI 設定

[Google AI 說明](https://developers.google.com/search/docs/appearance/ai-features)把 Googlebot 存取列為一項條件。獨立的 [Search generative AI control](https://support.google.com/webmasters/answer/16908024)於 2026 年 8 月 31 日全球推出。

在 Search Console > Settings > Search generative AI 確認值與繼承。排除會移除涵蓋功能的 AI 內容與連結，不改其他搜尋收錄或排名，不覆蓋 Merchant Center，也不控制訓練。

## 只查你管理的 Cloudflare

[Bot Preference Sync](https://blog.cloudflare.com/bot-preference-sync/)在原 robots.txt 上方加規則，需一起讀實際輸出與 Security 設定。

[2026 年 9 月 15 日更新](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)區分：

- **Disallow AI Training：** 發布適用的拒絕訓練偏好，保留 Accountable 混合用途的 Googlebot／Applebot／Bingbot 搜尋，封鎖其他訓練爬蟲。
- **Block：** 連混合用途爬蟲一起封鎖。**Block on pages with ads** 在偵測到廣告的頁面封鎖，即使 Search 顯示 Allow。

舊 Training Block 會轉成 Disallow AI Training；先看現值，不要直接認定新封鎖。Bing 拒絕訓練偏好尚未自動透過 robots.txt 傳達，需使用其官方操作控制。

核對受影響商品網址，記下訓練、Google 與 Cloudflare 選擇，就完成。正確設定不必改。允許不能證明抓取、索引、引用、商品入選或成交。

## 來源

1. [OpenAI crawlers and user agents](https://developers.openai.com/api/docs/bots)
2. [Anthropic crawler article](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
3. [Perplexity crawlers](https://docs.perplexity.ai/guides/bots)
4. [Google common crawlers](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
5. [AI features and your website](https://developers.google.com/search/docs/appearance/ai-features)
6. [Search generative AI control](https://support.google.com/webmasters/answer/16908024)
7. [Meta web crawlers](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers)
8. [Amazonbot and Amzn-SearchBot](https://developer.amazon.com/amazonbot)
9. [Editing robots.txt.liquid](https://help.shopify.com/en/manual/promoting-marketing/seo/editing-robots-txt)
10. [Bot Preference Sync](https://blog.cloudflare.com/bot-preference-sync/)
11. [Search discovery and AI training controls](https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/)