Os crawlers de IA são a forma como o conteúdo chega aos modelos de IA logo de início. Um site que bloqueia o GPTBot no robots.txt não será citado dentro do ChatGPT, mesmo que seu conteúdo seja excelente em todos os outros aspectos. O checklist técnico de AEO começa por aqui: verifique quais crawlers de IA o seu robots.txt permite e confirme que o seu site renderiza corretamente quando esses crawlers o acessam.
Glossário de visibilidade em IA
Crawler de IA
Um crawler de IA é um rastreador da web operado por uma empresa de IA — GPTBot, ClaudeBot, PerplexityBot, Google-Extended — que coleta dados de treinamento ou embasamento em tempo real para respostas geradas por IA.