返回

技術 SEO 深水區:索引、渲染與抓取機制

通智雲團隊 ·
技術SEO
技術 SEO 深水區:索引、渲染與抓取機制

摘要:很多人把 SEO 等同於「寫關鍵字」,但真正決定你能不能被搜到、被 AI 引用的,是技術地基——抓取(crawl)→ 索引(index)→ 渲染(render) 這三段鏈路。2026 年,Googlebot 仍是兩段式渲染(先抓 HTML、數天後再跑 JS),純前端渲染的內容會被延遲索引;robots.txt 還承擔起治理 AI 爬蟲的新角色;canonical、meta、結構化資料必須寫進伺服器端 HTML。本文拆解這套機制,並給出可落地的技術 SEO 檢查清單。

關鍵要點

為什麼技術 SEO 是地基

內容再好,若搜尋引擎和 AI 爬蟲「爬不到、渲不出、引不進」,它在結果裡就不存在。技術 SEO 不生產內容,它決定內容能否被 machines 正確獲取、理解、收錄、引用。可以把鏈路拆成三段:抓取(crawl)→ 索引(index)→ 渲染(render)。下面逐段拆。

抓取:robots.txt 與 2026 的 AI 爬蟲治理

抓取是第一步——bot 先得能到你的頁。傳統上 robots.txt 只管搜尋引擎 bot,但 2026 年它多了新角色:AI 爬蟲治理文件。

要分清兩類 bot:訓練型(抓內容去訓練模型)與檢索型(即時取內容來回答用戶問題)。你的策略可能允許檢索型、限制訓練型。可對 GPTBot、ClaudeBot、PerplexityBot 等單獨寫指令。與此同時,新興的 llms.txt 約定(尚未普適)用來告訴 AI 系統「哪些頁最權威」,相當於給 AI 的網站地圖。

兩個紅線:① 千萬別在 robots.txt 裡誤擋 CSS/JS 檔案——Googlebot 需要它們才能正確渲染頁面;② 用 Search Console 的 robots.txt 測試器驗證。XML 網站地圖也要只收規範、返回 200 的 URL,排除分頁/篩選/重複頁,並保持 lastmod 準確(Google、Bing、AI 爬蟲都把它當新鮮度信號)。

索引:兩段式渲染與 SSR/SSG 的代價

這是 2026 年最容易被忽視的機制。Googlebot 的渲染分兩波:第一波抓原始 HTML;第二波(可能隔數天到數週)才啟用 JavaScript 渲染、抽取最終內容並索引。

代價就在這裡:如果你的關鍵內容只在 JS 執行後才出現(純 CSR / 單頁應用程式),它的索引會被顯著延遲,甚至因渲染失敗/超時被跳過。應對只有一條鐵律——關鍵 SEO 內容(標題、正文、內連結、結構化資料)必須存在於原始 HTML,不依賴 JS 執行。

渲染架構怎麼選:

框架層面,Next.js(React)、Nuxt.js(Vue)內建 SSR/SSG 最友好;Astro 發最少 JS;島式架構/局部水合透過削減主執行緒 JS 直接改善 INP。

渲染陷阱:別讓 JS 改 canonical 和 meta

即便用了 JS 框架,也有幾個「看似能跑、實則坑」的點:

抓取預算與索引預算

大站特別要算「預算」兩筆帳:

最被低估的診斷手段是日誌分析:伺服器日誌記錄了每次 Googlebot 來訪。用 Screaming Frog Log File Analyser、Botify、JetOctopus 或 Cloudflare Bot Analytics,你能回答網站地圖答不了的問題——bot 把時間花在哪些頁、哪些重要頁被忽略、有沒有無人連結的孤兒頁被爬。看到「頻繁爬卻從不索引」通常指向內容品質問題;「從不訪問」往往指向內連結弱或抓取障礙。

Core Web Vitals:體驗信號也是排名信號

技術 SEO 與頁面體驗信號重疊。INP(Interaction to Next Paint) 已在 2024 年 3 月取代 FID 成為實跑排名信號,目標 <200ms、>500ms 為差——拆長任務、用 web worker、呼叫 scheduler.yield、給輸入做防抖。LCP <2.5s:inline 關鍵 CSS、defer 非關鍵 JS、優先 hero 圖載入(fetchpriority="high")。CLS <0.1:給動態內容預留尺寸、用 CSS aspect-ratio。現代圖片用 AVIF/WebP(比 JPEG/PNG 省 30–50%),非首屏圖用原生 loading="lazy"。

結構化資料:搜尋與 LLM 的通用語言

2025/2026 起,schema 不再只是為了豐富結果卡片——它是搜尋引擎與大型語言模型理解頁面實體的通用語言。寫對 Schema.org 的 JSON-LD,既能幫 Google 正確索引、分類、拿 SERP 特性,也能讓 AI 系統更深理解你的實體與關係,強化 E-E-A-T,並直接服務於 GEO(被 AI 引用)。電商類 schema 要求近兩年明顯收緊,豐富結果資格更看規範化。

技術 SEO 檢查清單(取重 8 條)

  1. 關鍵內容/內連結/schema 全在原始 HTML,禁 JS 依賴(DevTools 禁 JS 看首屏)。
  2. canonical/title/meta 伺服器端寫對,不用 JS 改。
  3. robots.txt 放行 CSS/JS,並對 AI 爬蟲按策略單獨指令;按需補 llms.txt。
  4. XML 網站地圖只收規範 200 頁、lastmod 準,提交 Search Console/Bing。
  5. 擋低價值 URL、修重新導向鏈、清殭屍頁,提升品質頁/總頁比。
  6. 用日誌分析看 Googlebot 真實抓取,定位被忽略的重要頁。
  7. Core Web Vitals:INP<200ms、LCP<2.5s、CLS<0.1。
  8. JSON-LD 結構化資料進初始回應,豐富結果測試驗證。

把這套機制做對,你的內容才真正「存在於」搜尋與 AI 答案裡。這也正是技術 SEO 與 GEO 的交會:可渲染、可理解、可引用,本質是一件事——詳見 A12《大模型怎麼獲取網頁內容》與 B08《Schema 標記入門》。

常見問題

問:Google 現在能抓 JavaScript 網站嗎,還需要 SSR 嗎?

答: 能,但不完美。Googlebot 會渲染 JS,但分兩段——第一波抓原始 HTML,第二波(數天到數週)才執行 JS 抽取最終內容。純 CSR 的關鍵內容會被延遲索引,渲染失敗還可能被跳過。所以 SEO 關鍵內容仍應 SSR/SSG 進原始 HTML,保證即時索引;CSR 只留給無需排名的登入後內容。

問:動態渲染(dynamic rendering)2026 還能用嗎?

答: Google 仍支援,但定位是遺留 CSR 站的臨時方案,不是最佳實踐。它給 bot 發預渲染 HTML、給用戶發正常 JS 版,適合 SSR 重構成本過高的老系統作為過渡。長期應遷移到 SSR/SSG/ISR,別把它當永久架構。

問:canonical 和 meta 用 JS 設定有什麼風險?

答: 風險是規範頁錯亂、標題優化不進索引。Googlebot 第一波看到的是初始 HTML 裡的 canonical/title/meta,JS 之後改的版本它第一輪可能沒採到,尤其 faceted 篩選 URL 容易指向錯誤規範頁。規範與元資訊必須在伺服器端渲染進初始回應。

問:robots.txt 在 2026 年為什麼要管 AI 爬蟲?

答: 因為 AI 爬蟲也讀 robots.txt,它從「只管搜尋 bot」變成「爬蟲治理文件」。你要區分訓練型 bot(抓去訓練模型)和檢索型 bot(即時取內容答題),可對 GPTBot/ClaudeBot/PerplexityBot 單獨指令;llms.txt 是新興約定,用來指向最權威頁。注意別誤擋 CSS/JS,否則頁面渲染會出問題。

問:抓取預算到底是什麼,小站需要管嗎?

答: 抓取預算是單位時間內 Googlebot 願爬你站多少頁。小站通常不用太操心;中大型站(尤其電商 faceted 導覽)容易因海量篩選/分頁 URL 耗光預算,導致重要頁抓不到。用 robots.txt/noindex 擋低價值 URL、修重新導向鏈、清殭屍頁即可。更該關注的是「索引預算」——品質頁佔比高的精簡站常勝巨站。

問:結構化資料對 GEO(AI 引用)有用嗎?

答: 有用,而且是交會點。JSON-LD 寫進初始 HTML,既幫搜尋引擎索引與拿豐富結果,也讓 AI 系統更準確理解你的實體與關係,提升被引用機率。2025/2026 起 schema 已成搜尋與 LLM 的通用語言,電商類要求還明顯收緊,建議作為技術 SEO 標配而非可選項。

關於通智雲

技術 SEO 是搜尋與 AI 可見性的地基,屬於通智雲關注的增長技術領域。通智雲(TENGENCE)是 AI 時代的企業增長引擎,專注公域引流獲客與私域轉化成交。

相關閱讀

資料來源

  1. JavaScript SEO 2026: Best Practices to Rank JS Websites——Compare SEO:Googlebot 兩段式渲染、SSR/SSG 優先、INP 取代 FID、動態渲染作臨時方案、Next.js/Nuxt.js 最友好。
  2. JavaScript SEO in 2026: What Google Really Renders——RankArise:第一波 HTML、第二波 JS 抽內容,CSR 索引延遲;Astro/島式架構降主執行緒 JS。
  3. JavaScript SEO in 2026: Ensuring Google Crawls Dynamic Content——Over The Top SEO:canonical/meta 須在 raw HTML,JS 改 canonical 致規範錯亂;JSON-LD 進初始回應。
  4. The Ultimate Technical SEO Checklist for 2026——Scopic Software:關鍵內容須進 raw HTML;INP<200ms、LCP<2.5s、CLS<0.1;schema 成搜尋與 LLM 通用語言。
  5. Technical SEO Checklist for 2026 (30 Actionable Steps)——Media Search Group:robots.txt 2026 治理訓練型/檢索型 AI bot、llms.txt 新興約定;抓取預算 vs 索引預算;日誌檔案分析工具。

立即行動

← 上一篇: 搜尋埋點與日誌規範:採哪些資料、怎麼用 下一篇: 實施文件模板:通智雲接入部署指南 →
諮詢
二維碼

企業微信