國際站點技術 SEO 與 AI 爬蟲：讓全球與生成式引擎都能抓到你的內容

摘要：國際站點的技術 SEO 不能只盯著 Googlebot——同一份內容還要被 ChatGPT、Perplexity、Claude 的 AI 爬蟲抓取與引用。兩者最大的差異是渲染：Googlebot 會執行 JavaScript，多數 AI 爬蟲不會，依賴前端渲染的頁面在 AI 引擎裡幾乎是空白。

做國際市場的團隊常遇到一個反差：頁面在 Google 上排得不錯，卻在 ChatGPT 的回答裡徹底消失。根因往往不是內容品質，而是技術層把「傳統搜尋抓取」和「AI 抓取」當成同一件事處理。本文把這兩類抓取拆開，給出國際站點在 robots.txt、國際站結構、CDN 與渲染上的具體配置，讓全球搜尋與生成式引擎都能穩定抓到並引用你的內容。

關鍵要點

爬蟲分三類：Googlebot（索引型，帶來點擊）、AI 訓練爬蟲（GPTBot/Google-Extended，餵模型權重）、AI 檢索爬蟲（OAI-SearchBot/PerplexityBot/ClaudeBot，即時引用，是唯一帶來 AI 流量的機器人）。
渲染鴻溝是頭號風險：GPTBot、ClaudeBot、PerplexityBot 基本不執行 JavaScript，純前端渲染的跨境 SPA 在 AI 引擎裡等於空頁。
robots.txt 要「訓練」與「檢索引用」分開配：封 GPTBot 只影響模型訓練，不影響 Google 排名；封 PerplexityBot 會在 48 小時內讓引用歸零。
國際站結構優先用子目錄（/de/、/fr/）而非子域或 ccTLD，配合雙向 hreflang，既集中權重又不丟地理信號。
伺服器實體位置不是排名因素，但 CDN 若快取串語言、或誤刪 hreflang，會直接切斷 AI 與地區的可抓性。
落地動作聚焦三件事：讓內容進首屏 HTML、給 AI 檢索爬蟲顯式 Allow、用伺服器日誌核對各爬蟲拿到的狀態碼。

一、國際站點的兩類抓取問題疊加

傳統搜尋優化只解決一件事：讓 Googlebot 把頁面索引进搜尋結果，用戶點擊進來。生成式引擎優化（GEO）要解決的是另一件事：讓 AI 爬蟲在回答用戶問題時引用你的內容，而用戶可能根本不會離開對話介面。對一邊有效的技巧不會自動對另一邊有效——這兩類抓取在能力、頻率與目標上都不同。

對國際站點，這個問題被放大了：你既要用 hreflang、子目錄、CDN 把內容正確分發到不同語種與地區，又要保證這些內容對「會渲染 JS 的 Googlebot」和「不渲染 JS 的 AI 爬蟲」都可見。任何一環把 AI 爬蟲擋在門外，品牌就從 AI 推薦裡一夜消失。

二、先分清三類爬蟲：Googlebot、AI 訓練爬蟲、AI 檢索爬蟲

按行為把爬蟲分成三類，是配置前的必要前提：

類別	代表爬蟲	是否執行 JS	平均載荷	抓取-引薦比	主要目的
索引型搜尋引擎	Googlebot、Bingbot	是（無頭 Chrome）	約 53 KB	約 14:1	建索引、帶來點擊
AI 訓練爬蟲	GPTBot、CCBot、Google-Extended	否	約 134 KB	無限（無引薦）	訓練 LLM 權重
AI 檢索/引用爬蟲	OAI-SearchBot、PerplexityBot、ChatGPT-User、ClaudeBot	否	約 134 KB	ClaudeBot 峰值約 50 萬:1	即時 RAG 引用，唯一帶來 AI 流量

關鍵結論有兩點。第一，AI 檢索爬蟲是唯一能把你的品牌帶進 AI 回答的機器人，應該永遠允許；訓練爬蟲是否允許取決於你願不願意把內容餵進模型權重。第二，Cloudflare 2026 年 1 月的分析顯示，Googlebot 抓取的獨立 URL 數量是 ClaudeBot 的 1.7 倍，說明傳統搜尋爬蟲在原始抓取量上仍領先，但 AI 爬蟲流量增長極快。

三、渲染鴻溝：AI 爬蟲不執行 JavaScript，跨境 SPA 最易中招

這是國際站點最容易被忽視的盲區。Googlebot 跑的是完整的 Chrome 渲染管線，能執行 JavaScript，把單頁應用（SPA）渲染成用戶看到的樣子。但 GPTBot、ClaudeBot、PerplexityBot 基本不執行 JavaScript——它們只解析伺服器回傳的「首屏原始 HTML」。如果你的產品描述、價格表、FAQ 都靠客戶端 JS 注入，AI 爬蟲看到的就一個空殼。

證據很硬：Vercel 分析了來自 ChatGPT、Claude、Perplexity 的 13 億次 AI 爬蟲抓取，結果零 JavaScript 執行痕跡。Google 還有一個 2MB 的 HTML 截斷閾值，超過的頁面會被截斷、底部內容不進索引；AI 爬蟲更苛刻，它們按 token 預算工作，框架程式碼越多、正文越容易被擠掉。修復方式只有三條路：伺服器端渲染（SSR）、靜態生成（SSG），或對 AI 爬蟲做動態渲染、在首次 HTTP 回應裡就回傳完整 HTML。

一個在 Google 排第一的頁面，可能因為依賴客戶端渲染而在 ChatGPT 裡完全不可見——這不是假設，是跨境 SPA 站點的高發事故。

四、robots.txt：把「訓練」和「檢索引用」分開配置

2026 年的 robots.txt 不再只管 Googlebot，還要為 GPTBot、ClaudeBot、PerplexityBot 等逐一配置。最危險的誤操作是用一條 User-agent: * Disallow: / 把所有人擋掉，連 Google 一起誤傷。正確做法是按爬蟲類型分層：

# 允許即時檢索/引用爬蟲（帶來 AI 流量，必須放開）
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /

# 訓練爬蟲可按策略取捨（封它不影響 Google 排名）
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /

# 搜尋引擎始終允許
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Sitemap: https://www.example.com/sitemap.xml

三條原則要記住。其一，封 GPTBot（訓練）與封 Google 排名無關——Google-Extended 是獨立於 Googlebot 的 token，官方明確說明封它不影響搜尋收錄與排名。其二，封 PerplexityBot 代價極高：有監測顯示站點封掉它後，48 小時內在該引擎的引用跌到零。其三，別只用 GPTBot 一個名字就以為封完了——OpenAI、Anthropic、Google 各自把訓練和檢索拆成不同 user-agent，完整策略要逐一命名。還需注意 Bytespider（字節跳動）對 robots.txt 遵守度不穩定，硬攔要靠 CDN/WAF 的 user-agent 或 IP 規則，而非一份文字檔。

五、國際站結構：子目錄優先、hreflang 雙向、CDN 不當誤傷

國際站點的 URL 結構有三種選擇，對可抓性與權重的含義不同：

結構	地理信號	權重處理	運維成本
ccTLD（example.de / example.fr）	最強	每個網域從零起步，需分別建設外鏈	高
子域（de.example.com）	中等	Google 視為半獨立站點，權重部分分散	中
子目錄（example.com/de/）	較弱（hreflang 可彌補）	全站共享一個網域的權重	低

對多數出海團隊，子目錄（/de/、/fr/）是預設推薦：所有外鏈利滾利進同一個網域，只需一個 Search Console 屬性，還能直接繼承主域已累積的權威。ccTLD 適合在當地有獨立團隊與合規要求的長期投入；子域只在技術堆疊必須隔離時才用。

無論選哪種，hreflang 都要做對：每個語言/地區版本必須自我引用，並雙向引用所有其他版本（A 鏈 B，B 也必須鏈回 A），用 ISO 代碼（en、de、fr 或帶地區 en-us）；可在 HTML head、HTTP 頭或 XML sitemap 裡實作，並用 Search Console 的國際定位報告校驗。CDN 這邊要留心兩個坑：一是別讓 CDN 在回源時剝離 hreflang 標籤或關鍵技術元素；二是不同語言的 URL 要分開快取，避免法國用戶看到英文的快取副本。

六、伺服器位置與 CDN：不是排名因素，但決定抓取與速度

很多團隊糾結「伺服器放德國還是美國」。事實是：伺服器 IP 的實體位置不是排名因素，Google 多年前就確認了這一點。真正影響排名的是用戶體驗——尤其是頁面加載速度——以及透過 ccTLD、hreflang 或 Search Console 設定給出的明確地理信號。

但「不是排名因素」不等於「不重要」。每慢 100 毫秒，轉化率大約下降 7%（多項研究一致）；國際用戶若直連遠在美國的源站，延遲會吃掉轉化。CDN（Cloudflare、Fastly、AWS CloudFront 等）把內容快取到離用戶最近的邊緣節點，源站放哪裡都行，用戶很少直接打源站。需要為每個目標地區單獨盯 Core Web Vitals，目標 LCP 低於 2.5 秒——慢或資源吃緊的頁面更容易被 AI 爬蟲直接跳過。一個常被忽略的陷阱：CDN 或 WAF（如 Cloudflare Bot Management）可能把 AI 爬蟲誤判為惡意爬蟲回傳 403；BrightEdge 數據顯示，2026 年 1 月企業站點的 ChatGPT 用戶請求裡，伺服器端錯誤占了近 25%。所以配置完要查伺服器日誌，確認各爬蟲拿到的是 200 而非靜默失敗。

七、給國際站點的 AI 可抓可取清單

把上面幾點落成可執行的步驟：

讓內容進首屏 HTML：用 SSR 或 SSG，確保 AI 爬蟲在首次回應裡就能拿到完整正文、標題、FAQ，不依賴 JS。
顯式 Allow 檢索爬蟲：在 robots.txt 為 OAI-SearchBot、ChatGPT-User、PerplexityBot、ClaudeBot 寫明確 Allow，別用萬用字元誤傷。
訓練爬蟲按策略取捨：要保品牌在模型裡的語義認知就放開 GPTBot / Google-Extended；只想防訓練就單獨 Disallow，不影響搜尋。
核對狀態碼：查伺服器日誌裡各 AI user-agent 拿到的 HTTP 狀態，403/軟 404 要立刻修；GA4 看不到這些訪問，必須看原始日誌。
國際結構 + 雙向 hreflang：子目錄優先，hreflang 自引用且兩兩互鏈，XML sitemap 帶上所有語言版本。
CDN 不串語言、不剝標籤：分語言快取，保留 hreflang，配 Sitemap 指向讓 AI 爬蟲優先抓取重要頁。
季度複審：新 AI 爬蟲不斷上線，robots.txt 與 CDN 規則每季度過一遍，新爬蟲預設按「檢索引用」類別評估。

常見問題

問：封掉 GPTBot 會讓我的 Google 排名下降嗎？

不會。GPTBot 是 OpenAI 的訓練爬蟲，與 Googlebot 是完全獨立的 user-agent；Google-Extended 也是獨立於搜尋抓取的 token，官方明確說明封它不影響搜尋收錄與排名。封 GPTBot 的代價是內容不再進入模型訓練，而非搜尋可見度下降。

問：我的站點在 Google 排第一，為什麼 ChatGPT 裡搜不到？

最常見的原因是渲染鴻溝：頁面依賴客戶端 JavaScript 渲染，Googlebot 能執行 JS 最終索引，但 ChatGPT/Perplexity/Claude 的爬蟲不執行 JS，只拿到空殼。改用 SSR 或 SSG，讓正文出現在首屏 HTML 即可解決。也可能是 robots.txt 誤封了 OAI-SearchBot 或 PerplexityBot。

問：國際站用子目錄還是子域更好？

對多數出海團隊，子目錄（example.com/de/）更優：共享主域權重、運維簡單、只需一個 Search Console 屬性，hreflang 能彌補其較弱的地理信號。ccTLD 地理信號最強但每個網域要從零建權重；子域會被 Google 視為半獨立站點，權重部分分散。

問：伺服器一定要放在目標國家嗎？

不需要。伺服器實體位置不是排名因素，用 CDN 把內容快取到離用戶最近的邊緣節點即可，源站位置無所謂。重點是各地區的 Core Web Vitals（LCP 低於 2.5 秒）和清晰的地理信號（hreflang / ccTLD / Search Console 國際定位）。

問：機器人太多，能不能直接用 User-agent: * Disallow: / 一刀切？

絕對不要。這條規則會連 Googlebot、Bingbot 一起封掉，直接清空搜尋流量。正確做法是按訓練/檢索分類逐一配置，檢索引用類爬蟲必須 Allow。

關於通智雲

通智雲（Tengence）是 AI 驅動的成長引擎，以 GEO + SEO 雙引擎幫助出海企業在公域引流獲客、在私域轉化成交。本文討論的「讓全球搜尋與生成式引擎都能穩定抓取並引用內容」，正是通智 GEO 能力的核心場景——我們把渲染鴻溝、爬蟲分層、國際站結構與 CDN 陷阱納入一體化的技術 SEO 與 GEO 實施方案，讓品牌在 Google 與 ChatGPT、Perplexity、Claude 等 AI 引擎中同時獲得可見度。

資料來源

What Is an AI Bot Crawler and How Is It Different From Googlebot? — Mersel AI：三類爬蟲分類法與關鍵指標（Googlebot 53KB / 14:1、AI 訓練爬蟲 134KB、ClaudeBot 峰值約 50 萬:1）。
Robots.txt and AI: Should You Block AI Bots? — AISOSystem：35% 全球頭部站封 GPTBot（歐洲 42%）、封 PerplexityBot 48 小時內引用歸零、Google-Extended 與 Googlebot 分離。
JavaScript SEO for AI Crawlers — AISEOShift：GPTBot/ClaudeBot/PerplexityBot 不執行 JS，Vercel 13 億次抓取零 JS 執行，修復 = SSR/SSG。
The Rendering Gap: Why AI Can't See Your JavaScript Website — Indexable AI：Google 2MB HTML 截斷閾值與 token 預算約束。
AI Crawlers vs Search Engine Crawlers — Presenc AI：渲染、頻率、內容單元與 robots.txt 合規的對比表。
International SEO Strategy: Hreflang, CDN & Localization — Markana Media：子目錄優先、伺服器位置非排名因素、100ms≈7% 轉化、CDN 快取串語言陷阱。
International SEO for SaaS: Hreflang, CDN Configuration — SaaSSEO：hreflang 雙向實施與各地區分別盯 Core Web Vitals（LCP<2.5s）。
robots.txt for AI Crawlers — The Website Specification：2026 年主要 AI user-agent 清單與按主機配置說明。