AI 爬蟲

AI 公司用來抓取網頁內容的自動程式，如 OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Perplexity 的 PerplexityBot、Google 的 Google-Extended。全部遵循 robots.txt 規則——一行 Disallow 就能讓內容從該 AI 的世界消失，是 GEO 成本最低、影響最大的檢查點。