Crawl Budget 是什麼，大型網站才需要在意的爬取預算管理

本文重點

• Crawl Budget（爬取預算）由抓取速率（crawl rate）與抓取需求（crawl demand）兩個因素共同決定，不是 Google 給你一個固定配額，而是動態算出來的。
• 多數中小型網站（數千頁以內、更新不頻繁）根本不用擔心爬取預算，Google 官方講得很清楚；真正要在意的是百萬頁級的大站、電商分面導航、或更新極快的新聞站。
• 浪費爬取預算的元凶幾乎都是重複網址、無限空間（infinite spaces）與低價值頁，先堵住這些破口，比去調抓取速率有用得多。
• 用 server log 與 GSC 的「爬取統計」報告做診斷，再依優先順序處理，才不會把力氣花在沒效益的地方。

很多人一聽到 Crawl Budget（爬取預算） 就開始緊張，急著去 robots.txt 擋一堆東西、刪頁面、調伺服器，結果網站才幾百頁，根本是在解一個不存在的問題。這篇要先幫你把界線畫清楚：到底什麼是爬取預算、它怎麼算出來、哪些網站真的需要管，然後才談怎麼診斷與優化。讀完你會知道，這是一個典型「大站才痛、小站別亂動」的進階技術 SEO 主題。

一、Crawl Budget 是什麼，由抓取速率與抓取需求兩個因素決定

結論先講：Crawl Budget（爬取預算）不是 Google 配給你的固定額度，而是 Googlebot 在某段時間內「願意且能夠」抓取你網站 URL 數量的動態結果，由抓取速率上限（crawl rate limit）與抓取需求（crawl demand）兩股力量共同決定。 你沒辦法在後台看到一個叫「本月剩餘爬取預算」的數字，它是觀察出來的、不是設定出來的。

Google 在官方文件裡其實刻意避免把「crawl budget」當成一個正式術語，而是拆成兩個更精確的概念來談。理解這兩個因素，比死記「爬取預算」這個詞重要得多。

（一）抓取速率上限決定 Googlebot 能爬多快，受伺服器負載牽動

抓取速率上限（crawl rate limit）是 Googlebot 為了不把你的伺服器拖垮，而自我設定的併發連線數與抓取間隔上限。 簡單說，就是「Googlebot 願意同時開幾條線、每次抓完隔多久再抓」。

它會隨兩件事動態調整：

• 網站健康狀態（crawl health）：如果你的伺服器回應又快又穩（大量 200、低延遲），Googlebot 會敢爬快一點；一旦開始出現逾時、5xx 伺服器錯誤或回應變慢，它會立刻踩煞車，降低抓取速率以免造成更大負擔。
• 你在 Search Console 設定的上限：過去 GSC 有手動調整抓取速率的選項，現在多數情況交給 Google 自動判斷。

這裡有個常被誤解的點：抓取速率高不代表排名好。很多人以為「被爬越多次 = Google 越喜歡我」，這是錯的。抓取只是「能不能被收錄」的前置條件，爬得勤跟排名沒有因果關係。關於伺服器回應碼怎麼影響爬取行為，可以延伸看HTTP 狀態碼與 SEO 的對應關係。

（二）抓取需求決定 Googlebot 想不想爬，受熱門度與內容新鮮度牽動

抓取需求（crawl demand）是 Googlebot「想不想花力氣來抓你」的程度，主要看你的網址有多熱門、以及內容是否需要重新抓取以保持索引新鮮。 就算你的伺服器強到可以承受無限抓取，如果 Google 覺得你的內容沒人氣、也沒更新，它根本懶得一直來。

影響抓取需求的因素：

因素	說明	對抓取需求的影響
網址熱門度（popularity）	在網路上越多人連結、越多人造訪的 URL	越熱門，Google 越想常來確保索引是最新的
內容新鮮度（staleness）	Google 希望避免索引裡放著過期版本	常更新的頁面需求較高，長年不動的頁面需求遞減
站台整體變動	例如網站搬家、URL 結構大改	短期內抓取需求會暴增

真正的爬取預算，就是「抓取速率上限」與「抓取需求」兩者取交集的結果：Google 想爬（需求）而且你的站撐得住（速率），它才會實際去抓。任何一邊卡住，實際被抓的 URL 數就上不去。這個雙因素架構是 Google 自 2017 年談 Googlebot 爬取預算以來的核心觀念，詳見官方說明What Crawl Budget Means for Googlebot。

二、哪些網站真的需要在意爬取預算，到底多大才算大站

結論先講：如果你的網站在數千頁以內、且內容不是每天大量變動，依照 Google 官方建議，你幾乎不需要為爬取預算操心——把心力放在內容品質和站內結構上更划算。 爬取預算是個「大站限定」的進階議題，把它套到小站身上，多半是過度優化。

我必須誠實界定適用對象，因為這是這篇最容易被誤用的地方。Google 在大型網站的爬取預算管理文件裡明確點名了「需要在意的網站類型」，不在名單上的，基本上 Googlebot 都能在合理時間內爬完你的重要頁面。

（一）Google 官方點名的三類網站才需要管理爬取預算

根據 Google 的大型網站爬取預算管理指南，以下這幾類網站才需要認真對待爬取預算：

• 大型網站：擁有 100 萬個以上的不重複網頁，且內容約每週變動一次。
• 中大型且更新極快的網站：擁有 1 萬個以上的不重複網頁，但內容變動非常頻繁（例如每天更新）。
• GSC 顯示大量「已找到但尚未編入索引」的網站：當報告中這類網址佔比很高，可能就是爬取效率出了問題的訊號。

請特別注意門檻：百萬頁是「週更」的標準，萬頁是「日更甚至更快」的標準。一個三千頁、一週發一兩篇的部落格，完全不在這個討論範圍裡。

（二）用一張決策表快速判斷你該不該管爬取預算

把上面的條件整理成可以對照的決策矩陣，三秒鐘判斷你站的處境：

網站規模	內容更新頻率	是否需要在意爬取預算	你該做什麼
數百～數千頁	任何頻率	幾乎不需要	專注內容與站內連結，別亂擋
1 萬～10 萬頁	偶爾更新	通常不需要	確保 sitemap 正確、避免明顯浪費即可
1 萬頁以上	每天大量更新	需要	開始監控爬取統計、處理重複網址
100 萬頁以上	每週以上變動	一定要	全面做爬取預算管理與 log 分析
任何規模	—	GSC「已找到但未索引」異常多	視為警訊，優先診斷

第三方資源也呼應同樣立場：Ahrefs 在When Should You Worry About Crawl Budget?裡直白寫道「大多數網站不需要擔心爬取預算」，會需要在意的主要是很新的站、百萬頁級的大站、以及更新極頻繁的站。Semrush 的爬取預算指南也是同樣的分眾邏輯。

（三）小站「症狀」幾乎不是爬取預算，多半是別的問題

如果你是小站卻覺得「Google 都不來爬我」「新文章很久才被收錄」，先別歸咎於爬取預算，這通常是索引（indexing）問題而不是爬取預算問題。常見真因：

• 內容品質不足或重複，Google 判斷不值得索引（屬於抓取需求低）。
• 站內連結太弱，新頁面沒有內部連結指過去，Googlebot 難以發現。
• 技術阻擋：被 robots.txt 擋、被 noindex、canonical 指向別處。
• 網站太新，還在建立信任的階段。

這些用爬取預算的框架去解都會白費力氣。要釐清「是沒被爬還是被爬了沒索引」，正確工具是Google Search Console 的完整用法裡的網址檢查與索引涵蓋範圍報告。

三、浪費爬取預算的常見元凶，重複網址、無限空間與低價值頁

結論先講：大站的爬取預算很少是「不夠」，而是「被浪費」——Googlebot 把寶貴的抓取次數耗在重複網址、無限空間與低價值頁上，導致真正重要的頁面排不上隊。 優化爬取預算的本質，八成是「堵漏」而不是「擴容」。

Google 明確指出，讓低價值的網址被大量抓取，會排擠掉真正有價值頁面的抓取機會，連帶拖慢新內容被發現的速度。以下是最常見的幾種破口。

（一）重複網址與參數網址是最大的爬取黑洞

重複網址（duplicate URLs）指的是同一份內容因為 URL 變體而被當成多個頁面抓取，這是浪費爬取預算的頭號元凶。典型來源：

• URL 參數排列組合：?color=red&size=l、?sort=price、?utm_source=...，光是排序與篩選參數就能讓一個分類頁衍生出成千上萬個變體網址。
• Session ID 或追蹤參數：每個 session 產生一組新 URL。
• 大小寫、斜線有無、www 與非 www、http 與 https：同一頁的多種寫法。
• 可列印版本、分頁的重複內容。

處理方向是用 canonical 標籤把變體指回正規版本，並從源頭減少不必要的參數連結。canonical 與重新導向怎麼搭配使用，請看301、302 與 canonical 的正確用法。要提醒的是：canonical 是「建議」不是「指令」，Googlebot 仍可能去抓變體網址才知道它們重複——所以真正會吃掉抓取次數的源頭，最好直接別產生那麼多變體連結。

這裡也要破除一個常見迷思：「用 canonical 就等於省下爬取預算」是不準確的。canonical 解決的是「索引時要把哪個版本當正規」，但 Googlebot 仍得先把變體網址抓下來、才能讀到 canonical 標籤並判斷它指向別處——換句話說，抓取的動作已經發生、預算已經花掉了。真正能減少抓取的，是讓那些變體網址根本不要被連結、不要被 Googlebot 發現：例如在站內導覽與篩選器上避免產生可被爬的參數連結、對追蹤參數使用不可索引的設計。canonical 是收斂「索引」的工具，不是省「爬取」的工具，這個分際對大站尤其重要。

（二）無限空間讓 Googlebot 永遠爬不到盡頭

無限空間（infinite spaces，又稱 crawler traps，爬蟲陷阱）指的是會自動生成近乎無限數量網址的頁面結構，Googlebot 一旦掉進去，就會把大量抓取次數耗在沒意義的 URL 上。經典案例：

無限空間類型	範例	為什麼是陷阱
行事曆	「下一個月」可以一直按到 2099 年	每個月份都是一個新 URL，永無止境
多維篩選（分面導航 faceted navigation）	顏色×尺寸×價格×品牌的所有組合	組合數爆炸，多數組合沒有搜尋價值
無限捲動／分頁	?page=1 一路到 ?page=99999	大量薄內容分頁
站內搜尋結果頁	/search?q=任意字串	使用者打什麼就生成什麼 URL

對策：用 robots.txt 阻擋這些不該被抓的路徑樣式（例如 Disallow: /search），或對分面參數做妥善的參數管理與 canonical 處理。robots.txt 的語法與封鎖策略細節，見robots.txt 完整指南，以及 Google 的robots.txt 介紹。

（三）低價值頁與軟性錯誤稀釋了抓取效率

除了上述兩大類，還有一批「低價值網址」在默默消耗預算，Google 在文件中也特別列出：

• 軟性 404（soft 404）：頁面內容已不存在卻回傳 200，Googlebot 得花次數去抓才發現是空的。
• 被駭、被植入的垃圾頁。
• 品質低落或大量重複的內容。
• 代理／鏡像產生的重複頁。

這些頁面不只浪費抓取次數，還可能拉低整站在 Google 眼中的品質訊號。處理原則：該回 404／410 的就明確回，別用軟性 404 蒙混；薄內容該整併、該刪就處理掉。內容整併與更新的策略可參考站內其他主題；技術面則回到狀態碼的正確使用。

四、用 robots.txt、sitemap 與內部連結引導 Googlebot 爬重要頁面

結論先講：優化爬取預算不是「逼 Google 爬更多」，而是「把抓取次數導向你真正想被收錄的頁面」——靠 robots.txt 擋掉雜訊、用 sitemap 標示重點、用內部連結傳遞重要性，三管齊下。 你要做的是當好交通指揮，而不是拓寬馬路。

（一）robots.txt 負責擋掉不值得抓的路徑

robots.txt 是控制爬取的第一道閘門，最適合用來阻擋大量低價值、會吃掉抓取次數的路徑，例如站內搜尋、無止境的篩選參數、後台與 API 端點。

使用時務必記住幾個關鍵分際：

• robots.txt 管的是「爬取」，不是「索引」。被 Disallow 的網址 Google 不會抓內容，但若有外部連結指過去，該 URL 仍可能以無摘要的形式出現在搜尋結果。要「確保不被索引」得用 noindex，但 noindex 的前提是頁面不能被 robots.txt 擋住（否則 Google 看不到那個標籤）。
• 別用 robots.txt 擋 CSS、JS 等渲染必要資源，否則 Google 渲染頁面會出問題，對 JavaScript 網站影響尤其大，延伸閱讀JavaScript SEO 與 SSR／SSG 渲染策略。
• 擋路徑樣式要精準，避免誤擋到該被收錄的內容。

（二）sitemap 負責告訴 Google「這些才是重點」

XML sitemap 是你主動遞交給 Google 的重要網址清單，對大站尤其關鍵——它幫助 Googlebot 更有效率地發現你想被收錄的頁面，而不是漫無目的地靠連結爬。實務重點：

• sitemap 只放可索引、回傳 200、canonical 指向自己的正規網址；別把 noindex、被擋、被重新導向或非正規的 URL 塞進去，那只會誤導爬蟲。
• 善用 <lastmod> 標示真實的最後修改時間，幫助 Google 判斷哪些頁面值得重新抓取（呼應前面講的抓取需求／新鮮度）。
• 大站可用 sitemap index 分檔管理，並透過 GSC 觀察各 sitemap 的索引狀況。

完整的 sitemap 建置與在 GSC 的提交、除錯流程，見sitemap 實作與 GSC 提交指南。

（三）內部連結把抓取次數導向最重要的頁面

Googlebot 是順著連結爬的，內部連結結構直接決定哪些頁面被認為重要、被爬得勤。 對爬取預算的意義是：

• 重要頁面要有夠多、夠近的內部連結——埋得太深（從首頁要點七八層才到）的頁面，會被視為不重要而較少被抓。
• 減少從每個頁面指向低價值頁的連結，等於減少 Googlebot 被引去抓垃圾的機會。
• 用清楚的階層與主題叢集，讓爬蟲能用最短路徑觸及最多重要內容。

如何用內部連結傳遞權重與重要性，進階做法見內部連結進階策略。把這三件事做好，等於把同樣的爬取預算花在刀口上。

五、用 server log 與 GSC 抓取統計診斷爬取效率

結論先講：優化前一定要先診斷，而診斷爬取效率最可靠的兩個資料源是「伺服器日誌（server log）」與「GSC 的爬取統計報告（Crawl Stats）」——前者看 Googlebot 實際抓了什麼，後者看 Google 自己給的總覽。 沒有數據就動手，等於蒙著眼睛優化。

（一）GSC 爬取統計報告是最低門檻的診斷工具

GSC 的「設定 → 爬取統計」報告（Crawl Stats）是不需要技術門檻就能看的第一站，重點看這幾項：

指標	看什麼	警訊
總抓取要求數	趨勢是否穩定	突然暴跌可能是伺服器問題
平均回應時間	是否偏高	變慢會壓低抓取速率上限
依回應碼分組	200 佔比是否健康	大量 3xx／4xx／5xx 代表浪費
依檔案類型分組	抓取是否集中在 HTML	過多抓在圖片/JS 可能不理想
依用途分組（探索 vs 重新整理）	新舊頁比例	異常時可判斷發現或更新出問題
主機狀態	是否有可用性問題	紅燈代表 Googlebot 遇到阻礙

光是看「依回應碼分組」就常能抓出大問題：如果 Googlebot 有可觀比例的抓取都落在重新導向或錯誤頁，那就是預算正在被浪費的鐵證。GSC 各報告的判讀方式整理在Google Search Console 完整指南。

（二）server log 分析能看到 Googlebot 的真實足跡

伺服器日誌記錄了每一個對你網站的請求，是唯一能看到 Googlebot「逐一網址」真實抓取行為的資料源，比 GSC 的彙總更細。用 log 分析你可以回答這些 GSC 答不出的問題：

• Googlebot 把最多抓取次數花在哪些 URL／哪些目錄？是不是浪費在參數網址或無限空間？
• 我的重要頁面多久被抓一次？冷門但重要的頁面是不是根本沒被光顧？
• Googlebot 抓到了多少 4xx／5xx？哪些路徑回應特別慢？
• 是真的 Googlebot 還是偽裝的爬蟲？（可用反向 DNS 驗證來源 IP）

實作上的步驟化建議：

1. 取得原始 access log（從主機商或 CDN 後台），確認含 user-agent 與狀態碼欄位。
2. 過濾出 Googlebot 流量，並用反向 DNS 確認是真 Googlebot。
3. 按目錄與 URL 樣式彙總抓取次數，找出吃掉最多預算的路徑。
4. 比對「被抓最多的 URL」與「你最想被收錄的 URL」，兩者落差就是優化空間。
5. 盯回應碼分佈，把抓在 3xx／4xx／5xx 的比例壓下來。

log 分析需要一點工具與量體，這也是為什麼它通常只對大站划算——這正好呼應前面說的「爬取預算是大站議題」。

（三）把 log 與 GSC 兩種資料對照，才看得出真正的浪費

單看 GSC 或單看 log 都會有盲點，兩者交叉比對才能定位浪費的根因。實務上可以建立這樣的對照邏輯：

你觀察到的現象	GSC 看到的線索	log 要進一步確認的事	可能的真因
新內容很慢被收錄	爬取統計「探索」用途占比低	新頁面 URL 在 log 裡多久後才首次被抓	內部連結太弱、頁面埋太深
抓取次數沒少卻沒進新頁	回應碼分組裡 3xx／4xx 偏高	Googlebot 把次數花在哪些目錄	重複網址、無限空間吃掉預算
抓取量整體下滑	平均回應時間上升、主機狀態異常	哪些路徑回應特別慢或回 5xx	伺服器負載壓低了抓取速率上限

重點是養成「先看現象 → 用 GSC 抓方向 → 用 log 驗證細節」的診斷習慣，而不是看到爬取量波動就恐慌。爬取數字本來就會隨內容變動與站台健康度起伏，有意義的是抓取次數的「分佈」有沒有花在對的地方，而不是總量本身的高低。

六、爬取預算優化的優先順序與檢查清單

結論先講：爬取預算優化要照「先止血、再導流、最後微調」的順序做——先堵掉浪費（重複與無限空間），再把抓取導向重點頁（sitemap 與內部連結），伺服器效能與抓取速率是最後才碰的環節。 順序錯了，會在沒效益的地方耗掉大把時間。

（一）依投資報酬率排好的優化優先順序

優先級	動作	為什麼排這裡
1（最高）	確認自己「是否真的需要」管爬取預算	小站做這些全是浪費，先別動
2	用 robots.txt 擋掉站內搜尋、無限空間、垃圾路徑	一次堵住最大的漏，CP 值最高
3	處理重複／參數網址（canonical、減少變體連結）	第二大的預算黑洞
4	清理低價值頁、修正軟性 404、該回 404/410 就回	減少無謂抓取、提升整站品質訊號
5	校正 sitemap（只放正規可索引網址、正確 lastmod）	主動把重點頁送到 Google 面前
6	強化重要頁的內部連結、降低重要頁深度	把抓取次數導向刀口
7	改善伺服器回應時間與穩定度	撐高抓取速率上限，但屬於後段微調

注意：第 7 項（伺服器效能）雖然會影響抓取速率上限，但通常不是 CP 值最高的起手式。除非你的 GSC 主機狀態或 log 已經顯示明顯的回應變慢／5xx，否則先做前面的止血與導流。

（二）可直接照做的爬取預算檢查清單

• 我的網站規模與更新頻率，真的落在需要管理爬取預算的門檻（百萬頁週更／萬頁日更／GSC「已找到未索引」異常）嗎？
• GSC 爬取統計裡，200 以外的回應碼佔比是否過高？
• 是否存在會生成大量網址的無限空間（行事曆、站內搜尋、分面組合）並已用 robots.txt 處理？
• 參數網址／重複網址是否已用 canonical 收斂，並從源頭減少變體連結？
• sitemap 是否只含正規、可索引、回 200 的網址，且 lastmod 真實？
• 重要頁面是否有足夠的內部連結、且不會埋太深？
• 是否有軟性 404 或薄內容頁在白白消耗抓取次數？
• 是否誤用 robots.txt 擋到了渲染必要的 CSS／JS，或擋到了該被收錄的內容？
• （大站）是否定期做 server log 分析，比對「被抓最多」與「最該被抓」的落差？

把這張清單跑過一輪，你就能很有把握地判斷：自己到底是該認真優化爬取預算，還是其實根本不用煩惱、可以把時間還給內容。

七、常見問題 FAQ

（一）Crawl Budget（爬取預算）和索引（indexing）是同一件事嗎？

不是，兩者是不同階段。爬取（crawl）是 Googlebot 把頁面抓下來，索引（index）是 Google 決定是否把抓下來的內容收進搜尋資料庫。 被爬不保證被索引，沒被爬則一定不會被索引。很多人以為「頁面沒被收錄是爬取預算不夠」，但對小站來說，多半是內容品質或站內連結問題導致沒被索引，而不是 Googlebot 沒空來爬。先用 GSC 的網址檢查工具確認是「沒被爬」還是「被爬了沒索引」，才不會抓錯方向。

（二）我的網站只有幾百頁，需要做爬取預算優化嗎？

幾乎不用。Google 官方明確表示，多數中小型網站（數千頁以內、內容不是極頻繁變動）不需要為爬取預算操心，Googlebot 通常能在合理時間內有效率地爬完。對小站而言，更值得投資的是內容品質、搜尋意圖對齊與站內連結結構，而不是去擋頁面或調伺服器。如果你是小站卻覺得新內容很慢被收錄，請優先排查索引與內容問題，而不是套用爬取預算的框架。

（三）增加抓取速率或讓 Googlebot 爬更多，會讓我排名變好嗎？

不會。抓取頻率高低跟排名沒有因果關係，被爬只是「有機會被收錄」的前置條件而已。Google 也特別澄清過，更多的抓取並不會提升排名；同樣地，對頁面做無關緊要的小改動企圖「騙」Googlebot 更常來抓，也沒有意義。把目標放在「讓重要頁面被有效率地抓到並索引」，而不是追求一個沒有意義的高抓取次數。

（四）robots.txt 把網址擋掉，就能省下爬取預算對嗎？要注意什麼？

方向對，但有兩個關鍵要注意。第一，robots.txt 管的是爬取不是索引——被擋的網址 Google 不會抓內容，但若有外部連結指過去，該 URL 仍可能以無摘要形式出現在搜尋結果；要確保「不被索引」得用 noindex，而 noindex 的頁面反而不能被 robots.txt 擋（否則 Google 看不到標籤）。第二，別擋到渲染必要的 CSS／JS 或該被收錄的內容。robots.txt 最適合用來擋站內搜尋、無限空間、後台這類「本來就不該被抓」的路徑。

（五）我要怎麼知道 Googlebot 把爬取預算浪費在哪裡？

兩個工具搭配使用。入門用 GSC 的「爬取統計」報告，看「依回應碼分組」與「依用途分組」，如果有大量抓取落在 3xx／4xx／5xx，那就是浪費的鐵證。要看得更細，就做 server log 分析：過濾出真正的 Googlebot 流量（用反向 DNS 驗證），按目錄與 URL 樣式彙總抓取次數，再比對「被抓最多的網址」與「你最想被收錄的網址」，兩者的落差就是你的優化空間。log 分析較吃工具與量體，通常只對大站划算。

（六）分面導航（faceted navigation）的篩選參數會吃掉很多爬取預算嗎？怎麼處理？

會，這是電商與大型目錄站最典型的爬取黑洞。顏色、尺寸、價格、品牌等篩選條件交叉組合，會讓一個分類頁衍生出成千上萬個幾乎無價值的變體網址，屬於前面講的無限空間。處理方式是組合拳：對沒有搜尋價值的參數組合用 robots.txt 阻擋抓取、對重複內容用 canonical 指回正規分類頁、並從前端減少會自動生成大量參數連結的設計。處理前務必先用 log 或 GSC 確認 Googlebot 確實把大量次數花在這些參數網址上，再動手。