KI-Crawler sind der Weg, über den Inhalte überhaupt erst zu KI-Modellen gelangen. Eine Website, die GPTBot in der robots.txt blockiert, wird in ChatGPT nicht zitiert – egal, wie gut der Inhalt sonst ist. Genau hier startet die technische AEO-Checkliste: Welche KI-Crawler erlaubt die eigene robots.txt, und rendert die Seite sauber, wenn diese Crawler sie abrufen?
AI-Visibility-Glossar
KI-Crawler
Ein KI-Crawler ist ein Web-Crawler eines KI-Unternehmens – etwa GPTBot, ClaudeBot, PerplexityBot oder Google-Extended –, der Trainingsdaten oder Realtime-Grounding für KI-generierte Antworten sammelt.