Writing / Tag
#爬蟲管理
04 posts- 01
Crawl Budget 是什麼，大型網站才需要在意的爬取預算管理
用白話拆解 Crawl Budget（爬取預算）的兩個構成因素，告訴你網站到底多大才需要在意爬取效率，並提供診斷與優化的實作清單，避免小站被嚇到亂優化。
#技術 SEO#爬蟲管理技術 SEO 35 min - 02
AI 爬蟲完整指南，從 GPTBot、ClaudeBot 到 PerplexityBot 的可見度監測與 robots.txt 策略
3 種 AI 爬蟲角色解析與 11 個 User-Agent 阻擋規則。針對 GPTBot 與 ClaudeBot 制定精準 robots.txt 策略，攔截無流量回饋的模型訓練抓取，並放行 OAI-SearchBot 等搜尋索引爬蟲，確保網站在 AI 搜尋引擎中維持高曝光與引用連結。
#AI 搜尋#爬蟲管理SEO 通則 24 min - 03
robots.txt 完整指南，從基本語法到 AI 爬蟲時代的新挑戰
4 個 robots.txt 核心語法與 3 種網站應用情境解析。設定 Disallow 僅能阻擋抓取，無法防止頁面被索引，必須搭配 noindex 標籤。面對 GPTBot 與 ClaudeBot 等 AI 爬蟲，管理者需權衡封鎖模型訓練與放行 AI 搜尋曝光的利弊，精準管控抓取預算。
#技術 SEO#爬蟲管理技術 SEO 20 min - 04
llms.txt 完整實作指南，讓 AI 正確理解你的網站
拆解 4 個 Markdown 結構規範與 5 個實作步驟，精準建立 llms.txt 檔案。相比 robots.txt 的防禦性質，此協定能主動引導 LLM 爬蟲獲取網站核心語義。掌握 LangChain 等框架支援的技術細節，有效降低 AI 抓取成本並提升網站的 AI 搜尋可見度與檢索增強生成效率。
#GEO#AI 搜尋#爬蟲管理技術 SEO 14 min