llms.txt 完整實作指南，讓 AI 正確理解你的網站

本文重點

• 不同於 robots.txt 的防禦性，llms.txt 採純文字主動引導 AI 獲取核心語義。
• 嚴守 4 大結構規範：H1 標示網站名稱、Blockquote 提供摘要、H2 劃分主題連結。
• 實作 5 步驟需篩選高價值頁面至根目錄，確保 HTTP 標頭為純文字，避免被誤判為網頁。
• LangChain 等框架已原生支援此協定，能大幅降低 RAG 架構的抓取成本與資料錯誤率。

當傳統搜尋引擎逐漸轉向生成式 AI，網站如何與 LLM（大型語言模型）溝通成為全新課題。建立 llms.txt 能主動提供結構化資訊給 AI 系統，大幅提升網站的 AI 可見度。這篇指南將帶你深入了解這項新興標準，並掌握具體的實作細節與邊界案例。

一、llms.txt 是什麼？為何 2024 底出現

llms.txt 是一個放置於網站根目錄的純文字檔案，專門用來告訴 LLM 爬蟲與 AI 代理（AI Agents）如何閱讀和理解該網站的內容結構。

2024 年底，隨著 AI 搜尋引擎與 RAG（檢索增強生成）技術的爆發，開發者社群提出了這項草案（llmstxt.org）。傳統的 HTML 對語言模型來說包含過多雜訊（如導覽列、側邊欄、廣告腳本、CSS 類別），而 llms.txt 採用極簡的 Markdown 格式，提供乾淨、具備高度語義的網站摘要與核心內容連結。這項協議是 what-is-geo-ai-overviews 策略中不可或缺的技術基礎，能讓 AI 用最低的 token 成本獲取你的網站精華。

二、llms.txt 與 robots.txt 的邊界與差異

這兩者的核心邊界在於：robots.txt 用於設定爬取權限，而 llms.txt 用於提供內容導覽。

• robots.txt：防禦性與規則性。主要針對傳統 Crawler（如 Googlebot 或 GPTBot），透過 Allow/Disallow 指令控制爬蟲可以存取哪些路徑。
• llms.txt：引導性與語義性。針對 LLM 爬蟲，提供 Markdown 格式的網站地圖與摘要，告訴 AI「這個網站的核心價值是什麼」以及「高價值內容在哪裡」。 實作 llms.txt 絕對不代表可以取代現有的 sitemap.xml 或 robots.txt（詳見 sitemap-implementation-gsc），它們在技術 SEO 的架構中各自扮演完全不同層級的角色。

三、llms.txt 的檔案結構規範

llms.txt 必須嚴格遵循特定的 Markdown 格式，確保各種 AI 系統與解析器能標準化地提取資訊。核心規範包含以下四個主要部分：

（一）H1 標題 = 網站名稱

檔案的第一行必須是唯一的 H1（單一 #），明確標示專案、品牌或網站名稱。這會成為 AI 建立 Context 時的實體名稱（Entity Name）。

（二）Blockquote = 摘要

H1 下方緊接著使用 Markdown 區塊引用（>）來撰寫網站摘要。這段文字至關重要，它會直接作為 AI 理解該網站背景知識的 System Prompt 基礎，應精煉說明網站的專業領域與核心價值。

（三）Section Links（主題分類連結）

使用 H2（##）來劃分內容主題，並在每個主題下方使用無序列表（-）提供具體的頁面連結與簡短說明。標準格式為：- [頁面名稱](URL): 頁面細節說明。這能幫助 LLM 爬蟲理解 URL 背後的具體意圖。

（四）Optional 區塊

可選區塊（Optional）通常用於放置較次要的資源，例如 API 文件、更新日誌、社群連結或外部參考資料。透過標題 ## Optional 來標示，當 AI 系統在抓取時面臨 token 額度不足或 Context Window 限制時，會優先捨棄此區塊的內容。

四、實作步驟（手把手）

進行 llms.txt 實作時，應專注於高價值的資訊內容，而非將整個網站數千個頁面全部塞入。

（一）Step 1 盤點內容資產

篩選出網站中最具代表性、最希望被 AI 引用的核心頁面，例如 Pillar Pages（核心支柱頁面）、權威指南或深度技術文章。務必排除需要動態渲染、結帳流程、會員牆或無資訊價值的薄弱頁面。

（二）Step 2 分類章節

根據主題集群（Topic Cluster）將篩選出的頁面進行邏輯分類。這些分類將直接對應到 llms.txt 檔案中的 H2 標題，幫助 AI 建立知識圖譜的層級架構。

（三）Step 3 撰寫摘要

為網站整體寫一段 50-100 字的精煉摘要放在 Blockquote 中。同時，為每一個準備放入列表的 URL 加上一句話的精確描述。描述應包含關鍵字與該頁面解決的問題。

（四）Step 4 放到 /llms.txt

將編寫好的 Markdown 檔案命名為 llms.txt，並上傳至網站的根目錄。確保其最終的存取路徑為 https://你的網域/llms.txt。

（五）Step 5 驗證

確認檔案可透過無痕瀏覽器正常存取。進階檢查需確認伺服器的 HTTP 回應標頭（Response Headers）中，Content-Type 是否正確設定為 text/plain 或 text/markdown，避免被誤判為 HTML。

五、完整範本（附 seo.albertfnm.com 實際示例）

以下是一份標準的 llms.txt 範本，展示如何將 Albert SEO Blog 的內容結構化提供給 AI：

## Albert SEO Blog

> Albert SEO Blog 是一個專注於進階搜尋引擎最佳化（SEO）與 AI 搜尋可見度（GEO）的繁體中文教育網站，提供技術 SEO、內容策略與演算法解析。

## 核心指南
- [GEO 與 AI Overviews 最佳化](https://seo.albertfnm.com/blog/what-is-geo-ai-overviews): 針對 AI 搜尋引擎的生成式引擎最佳化指南。

## 技術 SEO
- [Sitemap 實作與 GSC 提交](https://seo.albertfnm.com/blog/sitemap-implementation-gsc): 網站地圖的 XML 規範與 Google Search Console 實務。
- [Schema.org JSON-LD 範本](https://seo.albertfnm.com/blog/schema-jsonld-templates): 結構化資料的進階實作語法與測試方法。

## Optional
- [關於作者](https://seo.albertfnm.com/about): Albert 的 SEO 經歷與聯絡資訊。

六、llms-full.txt 延伸用法

若網站內容較少，或希望 AI 能夠一次性讀取完整內容而無需二次爬取，可以實作 llms-full.txt。

這是 llms.txt 協定中的官方延伸標準。llms.txt 提供的是目錄與連結，而 llms-full.txt 則是將所有核心內容的完整 Markdown 文本，依照章節直接合併在同一個檔案中。這對於 API 官方文件、單頁式應用（SPA）或微型網站特別有效，能讓 LLM 在單次 Request 中獲取全部上下文。但實作此檔案需密切注意檔案總大小，避免超出常見 LLM 的 Context Window 限制。

七、哪些 AI 系統目前認這個協定

目前 llms.txt 仍處於早期採用階段，但已受到多個主流 AI 開發框架與工具鏈的原生支援。

包含 OpenAI 的某些客製化 GPTs 爬蟲機制、Anthropic 的 Context API 工具，以及開源的 AI Agents 框架（如 LangChain、LlamaIndex）的 Web Loaders，都已開始支援自動探測並解析 /llms.txt 路徑。雖然 Google 等大型搜尋引擎尚未正式宣布將其列為官方支援標準，但在現今的 RAG 架構中，提供此檔案能顯著降低 AI 抓取你網站的成本與資料清洗的錯誤率。

八、llms.txt 對 SEO 排名有幫助嗎（誠實答案）

目前 llms.txt 對傳統 Google 搜尋排名（10 條藍色連結）沒有任何直接的提升作用。

它的核心價值在於 AI SEO。根據目前生成式 AI 的運作邏輯，AI 模型與 RAG 系統更傾向於引用結構清晰、易於解析的來源。提供 llms.txt 能確保當 LLM 爬蟲造訪你的網站時，獲取的是極高訊噪比（Signal-to-Noise Ratio）的乾淨資料。這能大幅增加你的內容在 AI 生成摘要（如 ChatGPT 的引用連結、Perplexity 的來源標籤、甚至未來的 AI Overviews）中被正確歸屬與曝光的機率，是一種針對未來搜尋型態的前瞻性防禦佈局。

九、FAQ

（一）Q1: llms.txt 檔案大小有上限嗎？

官方草案目前沒有嚴格的 Byte 大小限制，但考量到 LLM 爬蟲的處理效率與 Token 成本，建議 llms.txt 保持精簡，僅列出最重要的導覽連結。如果使用 llms-full.txt，則需特別注意不要超過常見模型（如 128k 或 200k tokens）的處理上限。

（二）Q2: 我已經有了 sitemap.xml，還需要 llms.txt 嗎？

需要。sitemap.xml 是給傳統搜尋引擎（如 Googlebot）看的 XML 格式，主要包含所有 URL 與更新頻率，缺乏語義脈絡；llms.txt 則是給語言模型看的 Markdown 格式，包含高度語義化的摘要與邏輯分類。兩者用途互補，不可互相替代。

（三）Q3: llms.txt 可以用來阻擋 AI 抓取我的網站嗎？

不行。llms.txt 的設計目的是「內容導覽」而非「權限控制」。若要阻擋特定的 AI 爬蟲（例如 GPTBot、CCBot 或 ClaudeBot）抓取你的網站內容，必須在網站根目錄的 robots.txt 中使用 Disallow 指令進行明確封鎖。