robots.txt 完整指南，從基本語法到 AI 爬蟲時代的新挑戰

本文重點

• robots.txt 僅阻擋抓取無法防索引，頁面絕對隱藏需搭配 noindex 標籤。
• Disallow 與 Allow 衝突時，Googlebot 採最長字元比對，規則越明確者優先勝出。
• Google 已廢除 Crawl-delay；務必封鎖站內搜尋與購物車等動態路徑，防止預算遭消耗。
• GPTBot 屬模型訓練爬蟲，封鎖雖能保護版權，卻也會喪失在 AI 搜尋中的曝光紅利。

在進行技術 SEO 優化時，robots.txt 永遠是網站與搜尋引擎溝通的第一步。這份純文字檔案決定了哪些頁面可以被抓取、哪些應該被阻擋，寫錯一個字元就可能讓全站從搜尋結果中消失。本文將帶你掌握標準的 robots.txt 寫法與常見範例，並解析在 GPTBot、ClaudeBot 等 AI 爬蟲崛起的時代，網站管理者該如何制定全新的防護與曝光策略。

一、robots.txt 是什麼與為何每個網站根目錄都要有一份

robots.txt 遵循機器人排除標準（Robots Exclusion Protocol），是一個放置於網站根目錄的純文字檔案，用來指示搜尋引擎爬蟲哪些路徑允許抓取、哪些路徑禁止抓取。

（一）爬蟲到網站的第一站就是 robots.txt

當 Googlebot 或其他搜尋引擎爬蟲抵達任何網站時，第一個動作永遠是尋找 https://example.com/robots.txt。如果檔案存在，爬蟲會先下載並解析其中的規則，再依照規則決定後續的抓取路徑；如果檔案不存在（回傳 404），爬蟲就會預設全站皆可自由抓取。這確保了網站管理者擁有第一層次的流量與抓取控制權。

（二）為何 robots.txt 不是 SEO 必殺技卻不能沒有

設定 robots.txt 並不會直接提升關鍵字排名，但它是管理**抓取預算（Crawl Budget）**的核心工具。大型網站如果任由爬蟲抓取無限生成的動態網址、站內搜尋結果頁或無效的標籤頁，會浪費爬蟲資源，導致真正重要的新文章無法被即時收錄。透過 robots.txt 封鎖低價值頁面，能引導爬蟲將資源集中在核心內容上，這也是落實技術 SEO基礎優化的重要環節。

（三）robots.txt 與 noindex meta 的差別

根據 Google 官方 Search Central 文件，robots.txt 的 Disallow 指令僅能阻止「抓取（Crawl）」，無法完全阻止「索引（Index）」。如果一個被 Disallow 的頁面從外部網站獲得了反向連結，Google 依然可能將該網址編入索引（在搜尋結果中顯示「已建立索引，但遭到 robots.txt 封鎖」）。若要確保頁面絕對不被索引，必須允許爬蟲抓取該頁面，並在頁面 HTML 中加上 <meta name="robots" content="noindex"> 標籤。

二、robots.txt 基本語法與常見指令寫法

一份標準的 robots.txt 主要由 User-agent、Disallow、Allow 與 Sitemap 組成，透過這四個指令即可涵蓋 99% 的網站控制需求。

（一）用 User-agent 指定爬蟲身份與星號用法

User-agent 用來宣告接下來的規則是寫給哪一隻爬蟲看的。使用星號 * 代表套用到所有未被明確指定的爬蟲；若要針對特定爬蟲（如 Googlebot）設定專屬規則，則需明確寫出其名稱。

User-agent: *
Disallow: /admin/

User-agent: Googlebot
Disallow: /private/

（二）Disallow 與 Allow 的優先順序及路徑比對規則

Disallow 用於禁止抓取，Allow 則用於在被禁止的目錄中「開例外」允許抓取。當 disallow allow 規則發生衝突時，Googlebot 會採用最長字元比對原則（最明確的規則勝出）。

User-agent: *
Disallow: /blog/
Allow: /blog/seo/

在上述 robots.txt 寫法中，爬蟲會被禁止抓取 /blog/ 目錄下的所有內容，但 /blog/seo/ 路徑因為字元更長、規則更具體，因此會被破例允許抓取。

（三）Sitemap 指令位置與多 Sitemap 寫法

Sitemap 指令用來告訴爬蟲網站的 XML 網站地圖位置，幫助爬蟲更快發現所有網頁。這個指令不受 User-agent 區塊限制，通常放置於檔案的最下方。若網站有多個 Sitemap（例如文章與商品分開），可以直接換行並列，詳見 Sitemap 實作與 GSC 提交。

Sitemap: https://example.com/sitemap-articles.xml
Sitemap: https://example.com/sitemap-products.xml

（四）Crawl-delay 的作用與 Google 不支援的原因

Crawl-delay 指令用來限制爬蟲每次抓取的秒數間隔，以減輕伺服器負載。目前 Bingbot 與 Yandex 仍支援此指令，但 Google 已經全面廢棄對 Crawl-delay 的支援。若需調整 Googlebot 的抓取頻率，必須直接前往 Google Search Console 的「抓取頻率」設定頁面進行手動調整。

三、常見網站的 robots.txt 實戰範例結構對照

不同類型的網站有各自需要保護的系統路徑與動態參數，以下提供三種常見情境的 robots.txt 範例。

（一）部落格網站阻擋後台與搜尋結果頁

以 WordPress 為主的部落格網站，最需要阻擋的是登入後台路徑以及站內搜尋產生的動態網址，避免這些無意義的頁面消耗抓取預算。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /*?s=*
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xml

（二）電商網站阻擋購物車與結帳流程

電商網站除了後台，還包含購物車、結帳流程、會員中心，以及商品列表頁無窮無盡的篩選參數（如價格排序、尺寸篩選），這些都必須嚴格封鎖。

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?*sort=*
Disallow: /*?*filter=*
Sitemap: https://example.com/sitemap.xml

（三）多語系網站阻擋特定語言版本

當多語系網站的某個語言版本（例如法文版 /fr/）尚在建置中，或不希望被特定地區搜尋引擎抓取時，可以針對該目錄進行封鎖。

User-agent: *
Disallow: /fr/
Disallow: /de/
Sitemap: https://example.com/en/sitemap.xml

四、AI 爬蟲時代的新挑戰與 GPTBot 等爬蟲的阻擋策略

隨著生成式 AI 爆發，各大 AI 公司紛紛派出爬蟲抓取全網資料以訓練模型或提供即時問答。網站管理者現在必須面對「是否該讓 AI 抓取內容」的全新決策。

（一）三大 AI 爬蟲的實際行為差異

市場上主流的 AI 爬蟲目的各有不同：OpenAI 的 GPTBot 專門抓取網頁資料用於訓練未來的 GPT 模型；Anthropic 的 ClaudeBot 也是以模型訓練與資料分析為主；而 PerplexityBot 以及 OpenAI 近期推出的 OAI-SearchBot，則是為了提供 AI 搜尋引擎（RAG）的即時引用與摘要。區分「訓練用」與「即時搜尋用」爬蟲，是制定阻擋策略的前提。

（二）保護內容與失去 AI 曝光的權衡

全面封鎖 AI 爬蟲雖然能保護網站的智慧財產權，避免內容被免費拿去訓練模型，但也意味著主動放棄了在 AI 搜尋引擎中曝光的機會。根據 GEO（生成式引擎優化） 的策略，若封鎖了 OAI-SearchBot 或 PerplexityBot，當使用者在 ChatGPT 或 Perplexity 搜尋相關問題時，你的網站將無法作為來源被引用，這在 AI 搜尋市佔率攀升的現今，可能造成可觀的流量損失。

（三）部分阻擋與部分開放的折衷寫法

現階段多數大型媒體與企業網站採取的折衷策略是：阻擋純訓練用的爬蟲，但放行用於即時搜尋與引用的爬蟲。

## 阻擋用於模型訓練的爬蟲
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

## 允許用於即時 AI 搜尋的爬蟲
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

五、robots.txt 與 llms.txt 的職責邊界及互補關係

在 AI 時代，除了傳統的 robots.txt，社群也開始推廣 llms.txt 這個新標準，兩者在網站架構中扮演著截然不同但互補的角色。

（一）robots.txt 管理抓取權限而 llms.txt 提供內容使用指引

探討 robots.txt vs llms.txt 的核心差異在於：robots.txt 是強制性的「權限控制」，告訴爬蟲哪裡可以去、哪裡不能去；而 llms.txt 則是一份 Markdown 格式的「內容指引」，專門設計給大語言模型閱讀，提供網站核心架構、重點內容摘要與背景知識。robots.txt 決定了門有沒有上鎖，llms.txt 則是進門後遞上的一份導覽手冊，詳見 llms.txt 完整指南。

（二）兩者並存的實作建議

最佳實作方式是讓兩者並存於根目錄。透過 robots.txt 設定好 AI 爬蟲的抓取底線後，在根目錄放置 llms.txt，將網站最精華、最希望被 AI 模型正確理解的內容結構化地整理在其中。這樣既能防止後台機密被 AI 抓走，又能確保 AI 在生成摘要時能依據你提供的精確資訊。

六、寫錯 robots.txt 導致全站消失或機密外洩的常見錯誤

robots.txt 的語法雖然簡單，但一個斜線的失誤就可能引發嚴重的 SEO 災難。

（一）Disallow 根目錄導致全站從 Google 消失的案例

最致命的錯誤是在網站上線時，忘記移除測試環境的防護指令。只要寫下 Disallow: /，等同於拒絕爬蟲進入網站的任何一個角落。這會導致 Google 在幾天內將網站從搜尋結果中大規模剔除，直到指令被修正且爬蟲重新造訪為止。

（二）想隱藏的後台路徑反而透過 robots.txt 公告天下

許多開發者會把不想被人發現的機密路徑（如 /secret-admin-login-2024/）寫進 robots.txt 的 Disallow 規則中。然而，robots.txt 是一個完全公開的檔案，任何人只要在瀏覽器網址列輸入就能查看。把機密路徑寫在裡面，反而等於向駭客提供了攻擊目標清單。正確的做法是不在 robots.txt 中提及該路徑，並透過伺服器端的帳號密碼驗證來保護。

（三）修改 robots.txt 後 Google 不更新的處理方式

Googlebot 對 robots.txt 的快取時間大約為 24 小時。如果你修正了錯誤的規則，Google 不會立刻知道。此時必須進入 Google Search Console，透過網址審查工具請求重新建立索引，或者在 GSC 的 robots.txt 報表中主動提交更新，強制 Google 抓取最新版本的檔案。

七、測試與驗證 robots.txt 設定的方法

在上線任何 robots.txt 變更前，務必透過客觀工具進行驗證，確保規則如預期般運作。

（一）使用 GSC 的 robots.txt 測試工具

Google Search Console 內建了 robots.txt 報表與測試工具。你可以在工具中輸入特定的網址，並選擇不同的 User-agent（如 Googlebot 智慧型手機版），系統會直接告訴你該網址是呈現「允許」還是「遭到封鎖」，以及是觸發了哪一行規則。

（二）透過 curl 指令與線上測試器驗證

對於進階技術人員，可以使用終端機的 curl -O https://example.com/robots.txt 指令快速檢查伺服器回傳的檔案狀態碼是否為 200。此外，也可利用 Merkle 等第三方技術 SEO 網站提供的線上 robots.txt 測試器，快速模擬多種不同搜尋引擎爬蟲的抓取結果。

（三）robots.txt 變更後的快取與索引期影響

當你解除某個頁面的封鎖後，該頁面不會立刻出現在搜尋結果中。爬蟲需要先更新對 robots.txt 的快取，接著將解封的網址排入抓取佇列，最後進行渲染與索引。整個過程根據網站權重不同，可能需要數天到數週的時間。

八、FAQ

（一）Q1: robots.txt 必要嗎？沒有的話會怎樣

即使沒有 robots.txt，網站依然能正常運作且被搜尋引擎收錄。當伺服器針對 robots.txt 請求回傳 404 狀態碼時，Googlebot 會將其視為「全站皆可抓取」。但對於有後台管理系統、會員中心或大量動態參數的網站來說，缺少 robots.txt 會導致抓取預算嚴重浪費。

（二）Q2: 擋了 GPTBot 會影響到 Google 排名嗎

完全不會。Google 的搜尋排名演算法只依賴 Googlebot 的抓取結果。阻擋 OpenAI 的 GPTBot 或 Anthropic 的 ClaudeBot 僅會影響你的內容是否被用於訓練第三方 AI 模型，與 Google 搜尋引擎的 SEO 表現毫無關聯。

（三）Q3: robots.txt 寫錯了多久會被 Google 重新抓取

Google 通常每天會自動重新抓取一次 robots.txt 檔案。如果發現寫錯導致嚴重問題，修正後應立即前往 Google Search Console 的設定區塊，主動要求 Google 重新擷取 robots.txt，通常在數小時內就能更新快取。

（四）Q4: 動態網站要怎麼產 robots.txt

現代框架（如 Next.js、Nuxt3）或 CMS 系統通常支援動態生成 robots.txt。你可以透過編寫伺服器端腳本（例如在 Next.js 中建立 robots.ts），根據當下環境變數（測試站或正式站）自動輸出對應的 Disallow 與 Allow 規則，避免測試站內容意外被索引。

（五）Q5: 內容被 AI 爬走了，現在擋還來得及嗎

如果你現在才在 robots.txt 中加入阻擋 GPTBot 的規則，只能防止未來的內容被抓取。對於過去已經被爬蟲抓走並進入訓練資料庫的內容，robots.txt 無法產生溯及既往的刪除效果。