Los crawlers de IA son la vía por la que el contenido llega a los modelos de IA. Un sitio que bloquea GPTBot en su robots.txt no aparecerá citado dentro de ChatGPT, por muy bueno que sea el resto del contenido. La checklist técnica de AEO empieza por aquí: comprobar qué crawlers de IA permite la propia robots.txt y verificar que la web se renderiza correctamente cuando esos crawlers la solicitan.
Glosario de visibilidad en IA
Crawler de IA
Un crawler de IA es un crawler web operado por una empresa de IA —como GPTBot, ClaudeBot, PerplexityBot o Google-Extended— que recoge datos de entrenamiento o grounding en tiempo real para las respuestas generadas por IA.