技術 SEO 深水區:索引、渲染與抓取機制
摘要:很多人把 SEO 等同於「寫關鍵字」,但真正決定你能不能被搜到、被 AI 引用的,是技術地基——抓取(crawl)→ 索引(index)→ 渲染(render) 這三段鏈路。2026 年,Googlebot 仍是兩段式渲染(先抓 HTML、數天後再跑 JS),純前端渲染的內容會被延遲索引;robots.txt 還承擔起治理 AI 爬蟲的新角色;canonical、meta、結構化資料必須寫進伺服器端 HTML。本文拆解這套機制,並給出可落地的技術 SEO 檢查清單。
關鍵要點
- 三段鏈路決定存在感:抓取(bot 能否到)→ 索引(能否進庫)→ 渲染(能否看懂內容)。任意一環斷,內容對搜尋與 AI 都「不存在」。
- Googlebot 兩段式渲染:第一波抓原始 HTML,第二波(數天到數週)才執行 JS 抽最終內容;關鍵 SEO 內容靠 SSR/SSG 進原始 HTML,才能即時索引。
- canonical/meta/schema 必須進 raw HTML:JS 動態改 canonical,Google 第一波看到的是初始 HTML 的版本,會導致規範頁錯亂;結構化資料用 JSON-LD 寫進伺服器端回應,別靠 JS 注入。
- robots.txt 2026 = AI 爬蟲治理文件:區分訓練型 bot 與檢索型 bot,可對 GPTBot/ClaudeBot/PerplexityBot 單獨指令;llms.txt 是新興約定,指向最權威頁;切勿誤擋 CSS/JS。
- 抓取預算與索引預算:大站 faceted 導覽易生海量低價值 URL 耗預算,用 robots.txt/noindex 擋 session、篩選、列印版,修重新導向鏈;「品質頁/總頁比」高的精簡站常勝巨站。
- 結構化資料 = 搜尋與 LLM 的通用語言:schema 既助索引與豐富結果,也幫 AI 系統理解實體,直接銜接 GEO;這是技術 SEO 與 AI 可見性的交會點。
為什麼技術 SEO 是地基
內容再好,若搜尋引擎和 AI 爬蟲「爬不到、渲不出、引不進」,它在結果裡就不存在。技術 SEO 不生產內容,它決定內容能否被 machines 正確獲取、理解、收錄、引用。可以把鏈路拆成三段:抓取(crawl)→ 索引(index)→ 渲染(render)。下面逐段拆。
抓取:robots.txt 與 2026 的 AI 爬蟲治理
抓取是第一步——bot 先得能到你的頁。傳統上 robots.txt 只管搜尋引擎 bot,但 2026 年它多了新角色:AI 爬蟲治理文件。
要分清兩類 bot:訓練型(抓內容去訓練模型)與檢索型(即時取內容來回答用戶問題)。你的策略可能允許檢索型、限制訓練型。可對 GPTBot、ClaudeBot、PerplexityBot 等單獨寫指令。與此同時,新興的 llms.txt 約定(尚未普適)用來告訴 AI 系統「哪些頁最權威」,相當於給 AI 的網站地圖。
兩個紅線:① 千萬別在 robots.txt 裡誤擋 CSS/JS 檔案——Googlebot 需要它們才能正確渲染頁面;② 用 Search Console 的 robots.txt 測試器驗證。XML 網站地圖也要只收規範、返回 200 的 URL,排除分頁/篩選/重複頁,並保持 lastmod 準確(Google、Bing、AI 爬蟲都把它當新鮮度信號)。
索引:兩段式渲染與 SSR/SSG 的代價
這是 2026 年最容易被忽視的機制。Googlebot 的渲染分兩波:第一波抓原始 HTML;第二波(可能隔數天到數週)才啟用 JavaScript 渲染、抽取最終內容並索引。
代價就在這裡:如果你的關鍵內容只在 JS 執行後才出現(純 CSR / 單頁應用程式),它的索引會被顯著延遲,甚至因渲染失敗/超時被跳過。應對只有一條鐵律——關鍵 SEO 內容(標題、正文、內連結、結構化資料)必須存在於原始 HTML,不依賴 JS 執行。
渲染架構怎麼選:
- SSR(伺服器端渲染):伺服器端就出完整 HTML,bot 立即看到,索引最快,但 TTFB 可能略高。
- SSG(靜態生成):建置期預渲染成靜態 HTML,Googlebot 零渲染延遲,最適合不頻繁變動的內容。
- ISR(增量靜態再生):靜態的速度 + 動態的鮮度,電商與內容站首選。
- CSR(客戶端渲染):先發空 HTML、瀏覽器建頁,僅適合無需排名的登入後/用戶專屬內容。
- 動態渲染(dynamic rendering):Google 仍支援,但只是遺留 CSR 的臨時方案,應作為遷移 SSR/SSG 的過渡,而非長期解。
框架層面,Next.js(React)、Nuxt.js(Vue)內建 SSR/SSG 最友好;Astro 發最少 JS;島式架構/局部水合透過削減主執行緒 JS 直接改善 INP。
渲染陷阱:別讓 JS 改 canonical 和 meta
即便用了 JS 框架,也有幾個「看似能跑、實則坑」的點:
- canonical 必須在 raw HTML:若用 JS 動態改 canonical,Google 第一波看到的是初始 HTML 裡的 canonical,可能和你預期的不同(尤其 faceted/篩選 URL),導致規範頁錯亂。規範邏輯要在伺服器端渲染進初始回應。
- title/meta description 同樣:JS 在載入後改寫 title/description,Googlebot 第一波可能只看到空或通用的版本,你的標題優化進不了索引。用框架的 SSR 元資訊注入(如 Next.js Metadata API)在伺服器端就寫好。
- 結構化資料進初始 HTML:JSON-LD 寫進伺服器端回應,不靠 JS 注入;用豐富結果測試驗證。延遲注入的 schema 有遺失風險。
抓取預算與索引預算
大站特別要算「預算」兩筆帳:
- 抓取預算:單位時間內 Googlebot 願爬你站多少頁。faceted 導覽(尺寸/顏色/價格篩選)很容易生成成千上萬低價值 URL,悄悄耗光預算。用 robots.txt 或 noindex 擋掉 session、篩選、列印版;修重新導向鏈(每多一跳都浪費預算);用 URL Inspection 查單頁抓取狀態。
- 索引預算:更關鍵的是「Google 真覺得值得留在索引裡的頁有多少」。品質頁/總頁比高的精簡站,常勝過頁面巨多但低質頁氾濫的站。清掉「殭屍頁」(無流量卻還在被爬的低質頁)能直接提升抓取效率。
最被低估的診斷手段是日誌分析:伺服器日誌記錄了每次 Googlebot 來訪。用 Screaming Frog Log File Analyser、Botify、JetOctopus 或 Cloudflare Bot Analytics,你能回答網站地圖答不了的問題——bot 把時間花在哪些頁、哪些重要頁被忽略、有沒有無人連結的孤兒頁被爬。看到「頻繁爬卻從不索引」通常指向內容品質問題;「從不訪問」往往指向內連結弱或抓取障礙。
Core Web Vitals:體驗信號也是排名信號
技術 SEO 與頁面體驗信號重疊。INP(Interaction to Next Paint) 已在 2024 年 3 月取代 FID 成為實跑排名信號,目標 <200ms、>500ms 為差——拆長任務、用 web worker、呼叫 scheduler.yield、給輸入做防抖。LCP <2.5s:inline 關鍵 CSS、defer 非關鍵 JS、優先 hero 圖載入(fetchpriority="high")。CLS <0.1:給動態內容預留尺寸、用 CSS aspect-ratio。現代圖片用 AVIF/WebP(比 JPEG/PNG 省 30–50%),非首屏圖用原生 loading="lazy"。
結構化資料:搜尋與 LLM 的通用語言
2025/2026 起,schema 不再只是為了豐富結果卡片——它是搜尋引擎與大型語言模型理解頁面實體的通用語言。寫對 Schema.org 的 JSON-LD,既能幫 Google 正確索引、分類、拿 SERP 特性,也能讓 AI 系統更深理解你的實體與關係,強化 E-E-A-T,並直接服務於 GEO(被 AI 引用)。電商類 schema 要求近兩年明顯收緊,豐富結果資格更看規範化。
技術 SEO 檢查清單(取重 8 條)
- 關鍵內容/內連結/schema 全在原始 HTML,禁 JS 依賴(DevTools 禁 JS 看首屏)。
- canonical/title/meta 伺服器端寫對,不用 JS 改。
- robots.txt 放行 CSS/JS,並對 AI 爬蟲按策略單獨指令;按需補 llms.txt。
- XML 網站地圖只收規範 200 頁、lastmod 準,提交 Search Console/Bing。
- 擋低價值 URL、修重新導向鏈、清殭屍頁,提升品質頁/總頁比。
- 用日誌分析看 Googlebot 真實抓取,定位被忽略的重要頁。
- Core Web Vitals:INP<200ms、LCP<2.5s、CLS<0.1。
- JSON-LD 結構化資料進初始回應,豐富結果測試驗證。
把這套機制做對,你的內容才真正「存在於」搜尋與 AI 答案裡。這也正是技術 SEO 與 GEO 的交會:可渲染、可理解、可引用,本質是一件事——詳見 A12《大模型怎麼獲取網頁內容》與 B08《Schema 標記入門》。
常見問題
問:Google 現在能抓 JavaScript 網站嗎,還需要 SSR 嗎?
答: 能,但不完美。Googlebot 會渲染 JS,但分兩段——第一波抓原始 HTML,第二波(數天到數週)才執行 JS 抽取最終內容。純 CSR 的關鍵內容會被延遲索引,渲染失敗還可能被跳過。所以 SEO 關鍵內容仍應 SSR/SSG 進原始 HTML,保證即時索引;CSR 只留給無需排名的登入後內容。
問:動態渲染(dynamic rendering)2026 還能用嗎?
答: Google 仍支援,但定位是遺留 CSR 站的臨時方案,不是最佳實踐。它給 bot 發預渲染 HTML、給用戶發正常 JS 版,適合 SSR 重構成本過高的老系統作為過渡。長期應遷移到 SSR/SSG/ISR,別把它當永久架構。
問:canonical 和 meta 用 JS 設定有什麼風險?
答: 風險是規範頁錯亂、標題優化不進索引。Googlebot 第一波看到的是初始 HTML 裡的 canonical/title/meta,JS 之後改的版本它第一輪可能沒採到,尤其 faceted 篩選 URL 容易指向錯誤規範頁。規範與元資訊必須在伺服器端渲染進初始回應。
問:robots.txt 在 2026 年為什麼要管 AI 爬蟲?
答: 因為 AI 爬蟲也讀 robots.txt,它從「只管搜尋 bot」變成「爬蟲治理文件」。你要區分訓練型 bot(抓去訓練模型)和檢索型 bot(即時取內容答題),可對 GPTBot/ClaudeBot/PerplexityBot 單獨指令;llms.txt 是新興約定,用來指向最權威頁。注意別誤擋 CSS/JS,否則頁面渲染會出問題。
問:抓取預算到底是什麼,小站需要管嗎?
答: 抓取預算是單位時間內 Googlebot 願爬你站多少頁。小站通常不用太操心;中大型站(尤其電商 faceted 導覽)容易因海量篩選/分頁 URL 耗光預算,導致重要頁抓不到。用 robots.txt/noindex 擋低價值 URL、修重新導向鏈、清殭屍頁即可。更該關注的是「索引預算」——品質頁佔比高的精簡站常勝巨站。
問:結構化資料對 GEO(AI 引用)有用嗎?
答: 有用,而且是交會點。JSON-LD 寫進初始 HTML,既幫搜尋引擎索引與拿豐富結果,也讓 AI 系統更準確理解你的實體與關係,提升被引用機率。2025/2026 起 schema 已成搜尋與 LLM 的通用語言,電商類要求還明顯收緊,建議作為技術 SEO 標配而非可選項。
關於通智雲
技術 SEO 是搜尋與 AI 可見性的地基,屬於通智雲關注的增長技術領域。通智雲(TENGENCE)是 AI 時代的企業增長引擎,專注公域引流獲客與私域轉化成交。
相關閱讀
- 大模型怎麼獲取網頁內容?爬蟲、抓取與解析的完整鏈路
- Google 停用 FAQ 富媒體結果後,結構化資料還值得做嗎
- 2026 年 GEO 趨勢:AI 搜尋的 7 個變化與企業應對優先次序
- 長尾關鍵字策略:低競爭詞的挖掘與布局方法
- 企業 SEO 診斷怎麼做?7 大維度檢查清單
資料來源
- JavaScript SEO 2026: Best Practices to Rank JS Websites——Compare SEO:Googlebot 兩段式渲染、SSR/SSG 優先、INP 取代 FID、動態渲染作臨時方案、Next.js/Nuxt.js 最友好。
- JavaScript SEO in 2026: What Google Really Renders——RankArise:第一波 HTML、第二波 JS 抽內容,CSR 索引延遲;Astro/島式架構降主執行緒 JS。
- JavaScript SEO in 2026: Ensuring Google Crawls Dynamic Content——Over The Top SEO:canonical/meta 須在 raw HTML,JS 改 canonical 致規範錯亂;JSON-LD 進初始回應。
- The Ultimate Technical SEO Checklist for 2026——Scopic Software:關鍵內容須進 raw HTML;INP<200ms、LCP<2.5s、CLS<0.1;schema 成搜尋與 LLM 通用語言。
- Technical SEO Checklist for 2026 (30 Actionable Steps)——Media Search Group:robots.txt 2026 治理訓練型/檢索型 AI bot、llms.txt 新興約定;抓取預算 vs 索引預算;日誌檔案分析工具。