AIクローラーは、そもそもコンテンツがAIモデルに届くための入り口です。robots.txtでGPTBotをブロックしているサイトは、たとえコンテンツがどれほど優れていても、ChatGPT内で引用されることはありません。技術的なAEOチェックリストはここから始まります。robots.txtがどのAIクローラーを許可しているかを確認し、それらのクローラーが取得したときにサイトが正しくレンダリングされることを確かめましょう。
AI可視性用語集
AIクローラー
AIクローラーとは、AI企業が運用するウェブクローラー（GPTBot、ClaudeBot、PerplexityBot、Google-Extended）であり、学習データやAI生成回答向けのリアルタイムなグラウンディングを収集します。