Cloudflare 說它現在會管我的 robots.txt，這會動到我的 Shopify 商店嗎？
Cloudflare 現在會把 AI 爬蟲封鎖區塊寫進 zone 的 robots.txt。店面的檔案由 Shopify 提供，這件事只影響你自己的 zone。
- 適用情況
- Cloudflare 要你確認 AI 爬蟲偏好設定，或你在自己經由 Cloudflare 的網域上，看到一段自己沒寫過的爬蟲規則出現在原有規則上方。 [1]
- 不適用情況
- 由 Shopify 代管的店面不需要為此動 Cloudflare。那份 robots.txt 是 Shopify 從商店主要網域提供的，Cloudflare 的 zone 設定碰不到它。 [3] [1]
- 為什麼重要
- 現在一個儀表板設定就能把爬蟲規則寫進 robots.txt，沒有人編輯過檔案；而 Cloudflare 會在 2026 年 9 月 15 日改變 Agent 與 Training 爬蟲的預設值。 [1] [2]
- 查證於
- 2026年9月4日
- 變更日期
- 2026年8月21日
什麼時候第三方值得付錢，你又不必買什麼
- 什麼時候付錢請人做才划算
- 只有在別人替你管理擋在無頭或自訂店面前面的 Cloudflare zone，而你需要對方用書面說清楚三項分類設定時，付錢請人做才划算。 [1]
你可能收到 Cloudflare 要你確認 AI 爬蟲偏好的通知，或是在 robots.txt 最上方看到一段團隊裡沒有人編輯過的爬蟲規則。動手之前，先確定你看的那份檔案是哪個系統提供的。Cloudflare 與 Shopify 服務的是不同網址，而一家商店通常兩種都有。
由 Shopify 代管的店面，robots.txt 由 Shopify 提供，Cloudflare 的設定碰不到它。如果購物者或代理程式會連到的某個網址，是走你自己擁有的 Cloudflare zone，那個設定就要由你來讀、由你來決定。
先確認每個網址由誰寫 robots.txt
Shopify 在商店主要網域的根目錄提供 robots.txt。商家這一側唯一的覆寫方式，是佈景主題裡的 robots.txt.liquid 範本；刪掉那個範本，就會回到 Shopify 的預設檔案。
所以現在可能有三個寫入者，各自落在不同網址上：
| 網址 | robots.txt 由誰寫 |
|---|---|
| Shopify 代管的店面 | Shopify，除非佈景主題裡的 robots.txt.liquid 範本取代了它 |
| 走你自己 Cloudflare zone 的無頭店面、活動頁網域或部落格子網域 | Cloudflare 產生的區塊，疊在來源伺服器提供的內容上方 |
如果那份檔案屬於 Shopify 店面，內容又和 Shopify 的規則不符，寫入者是佈景主題範本，不是 CDN。那種情況請看〈移除 robots.txt.liquid 範本，讓 Shopify 規則回來〉這則 Answer，本篇不處理。
Cloudflare 在 2026 年 8 月 21 日改了什麼
Cloudflare 發表了 Bot Preference Sync，它會讓一個 zone 的 robots.txt 持續反映你在 zone 儀表板上已經設定的 Search、Agent 與 Training 偏好。從 Free 到 Enterprise 的每個方案都能使用，也可以隨時開啟或關閉。
有四個細節決定它會不會影響一家商店：
- 產生的區塊會加在既有 robots.txt 的最前面，夾在
BEGIN與END標記之間，原本檔案裡的Disallow指令會保留在下方。 - 區塊裡的 user-agent 清單會定期依 Cloudflare 追蹤的爬蟲目錄更新，所以沒有人動過檔案，內容仍可能改變。
- 對新客戶，這項同步預設開啟；仍在使用舊版託管 robots.txt 的既有客戶，會收到通知要求檢視並確認偏好。
- 這項同步反映的是分類層級的政策，不會讀取個別的自訂規則。若需要更細的政策，Cloudflare 給的做法是關掉同步，自己維護檔案。
Cloudflare 自己就把兩種商業情境分開講：靠廣告營收的出版者可能希望留在搜尋結果裡，同時不讓文章被拿去訓練模型；線上商店則可能希望內容全部被抓取，這樣購物者向助理詢問推薦時，商品才會出現。
預設值在 2026 年 9 月 15 日改變
Cloudflare 的 AI 流量選項公告在該日設定新的預設值：所有新加入 Cloudflare 的網域，Training 與 Agent 兩個分類會在顯示廣告的頁面上預設被封鎖，Search 維持允許。
廣告頁的預設值不太可能落到商品頁上。真正會影響既有 zone 的是第二項變更：從同一天起，同時具備 Search 與 Training 行為的爬蟲，會依它所有的行為、以最嚴格的適用規則判定。Cloudflare 點名 Googlebot、Applebot 與 BingBot，並說明凡是選擇封鎖 Training 的客戶，無論是透過現行選項或舊版 Block AI bots 服務，這些爬蟲都會被擋。不想改變的網站擁有者，可以在 2026 年 9 月 15 日之前的任何時間，到 Security 設定中標明。
Agent 是承載即時替人辦事的購物代理的那個分類。在一個把 Agent 全面封鎖的 zone 上，這類流量會在邊緣就被擋下，後面的商品資料再完整也沒有用。
你擁有 Cloudflare zone 的話該做什麼
- 列出購物者或代理程式會連到的每一個網址：店面、無頭前端、活動頁網域，以及任何部落格或說明子網域。
- 逐一確認每個網址的 robots.txt 由哪個系統提供。Shopify 提供的那些網址，在這件事上不需要動。
- 你擁有的每個 Cloudflare zone，都開啟它的 Security 設定，讀過產生的區塊，再依你希望商店怎麼被找到，確認 Search、Agent 與 Training 的選擇。
- 如果逐案規則比分類政策更重要，就關掉同步，自己維護那份檔案。
可觀察結果是一份書面紀錄，寫明每個網址的 robots.txt 由誰提供，加上你擁有的每個 Cloudflare zone 都有確認過的設定。這份紀錄說明你允許什麼，但無法證明代理程式真的抓到你的商品、商品被選中，或有任何成交。