Ferramentas gratuitas / Verificador de Crawlers de IA
Os crawlers de IA conseguem ler seu site?
Verifique seu robots.txt para GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended, se seu conteúdo aparece sem JavaScript, e se um firewall bloqueia bots de IA.
Por Raphaël Aubry, fundador da Howseen AI · Atualizado em
Gratuito, sem cadastro. Seu resultado aparece aqui mesmo.
Como funciona
O verificador lê seu robots.txt da mesma forma que cada crawler de IA faz, busca sua página como HTML bruto e com um user agent GPTBot, e sinaliza qualquer regra, firewall ou noindex que bloqueie a IA.
“Um arquivo robots.txt informa aos crawlers dos mecanismos de busca quais URLs o crawler pode acessar no seu site.”
Google Search Central, Introdução ao robots.txt
Informe seu site
Qualquer URL pública, sem cadastro.
Nós o lemos como um crawler de IA
As regras do seu robots.txt para 10 bots de IA e busca, seu HTML bruto e uma requisição com user agent GPTBot.
Corrija o que bloqueia a IA
Permitido ou bloqueado, bot por bot, com a regra exata e como corrigi-la.
Perguntas frequentes
Respostas curtas para as perguntas mais frequentes antes de usar o verificador de crawlers de IA, com base no que a ferramenta realmente verifica.
Devo bloquear o GPTBot no robots.txt?+
Geralmente não. O GPTBot é o crawler de treinamento da OpenAI, enquanto o OAI-SearchBot é o responsável pela busca do ChatGPT, então bloquear apenas o GPTBot não remove sua marca das respostas do ChatGPT. O verdadeiro risco é uma regra geral que bloqueia todos os bots.
O Google-Extended controla as AI Overviews?+
Não. O Google-Extended controla apenas o uso do seu conteúdo para o treinamento do Gemini. As AI Overviews e o AI Mode usam o acesso padrão do Googlebot.
Por que o conteúdo sem JavaScript importa?+
A maioria dos crawlers de IA busca o HTML bruto e não executa JavaScript. Se sua página monta o texto no navegador, eles podem ver uma página vazia.
O que é o llms.txt?+
Um arquivo markdown curto na raiz do seu site que lista suas principais páginas para agentes de IA. É opcional e não é um fator de ranqueamento, mas ajuda os agentes a encontrar as páginas certas. Você pode gerar um com nosso gerador de LLMs.txt.
Aprofunde-se: GPTBot, ClaudeBot, PerplexityBot: o guia do robots.txt
Mais ferramentas gratuitas
Cada ferramenta gratuita responde a uma pergunta sobre como os assistentes de IA enxergam sua marca. Juntas, elas cobrem visibilidade, rastreamento, llms.txt, buscas e schema.
Todas as ferramentas gratuitas
Fontes
A documentação oficial que esta ferramenta segue, das empresas que operam os crawlers de IA e dos padrões em relação aos quais ela faz a verificação.
