Ferramentas gratuitas / Inspetor de URL para Crawlers de IA
Veja esta página como o GPTBot a vê
Cole uma URL. Nós a buscamos como um navegador e como o GPTBot, e mostramos o título exato, a meta description, a contagem de palavras, o trecho de conteúdo e os dados estruturados que cada um recebe.
Por Raphaël Aubry, fundador da Howseen AI · Atualizado em
Gratuito, sem cadastro. Seu resultado aparece aqui mesmo.
Como funciona
A maioria dos crawlers de IA, incluindo o GPTBot da OpenAI, busca o HTML bruto de uma página e não executa JavaScript. Solicitamos sua URL duas vezes, uma como um navegador comum e outra com o user agent do GPTBot, e mostramos os dois resultados lado a lado.
“O GPTBot é usado para rastrear conteúdo que pode ser usado para treinar nossos modelos de IA generativa.”
OpenAI, Visão geral dos crawlers da OpenAI
Cole uma URL
Qualquer página pública: home, preços, um post de blog.
Buscamos duas vezes
Uma vez como navegador, outra com o user agent do GPTBot, e comparamos a resposta.
Veja o conteúdo extraído
Título, meta description, contagem de palavras, um trecho de conteúdo e os dados estruturados encontrados.
Perguntas frequentes
Respostas curtas para as perguntas mais frequentes antes de usar o inspetor de URL para crawlers, com base no que a ferramenta realmente verifica.
Por que o GPTBot veria algo diferente do meu navegador?+
Se o seu conteúdo é construído com JavaScript depois que a página carrega, um crawler que não executa JavaScript vê uma página vazia ou quase vazia, mesmo que seu navegador mostre o conteúdo completo.
O que significa “bloqueado” aqui?+
Sua requisição pelo navegador teve sucesso, mas a requisição do GPTBot falhou ou foi recusada, geralmente por uma regra de firewall ou proteção antibot bloqueando especificamente o user agent do GPTBot.
Um trecho curto significa um problema?+
Nem sempre. Uma página curta pode ser normal. Compare a contagem de palavras com o que você espera que sua página contenha; uma contagem próxima de zero em uma página rica em conteúdo geralmente indica que o texto não está no HTML bruto.
O que é a lista de dados estruturados?+
Os valores @type do schema.org encontrados em qualquer tag de script JSON-LD na página, como Organization, Product ou FAQPage. Uma lista vazia significa que nenhum dado estruturado foi encontrado.
Vá além: Verifique as regras do robots.txt de todo o seu site
Mais ferramentas gratuitas
Cada ferramenta gratuita responde a uma pergunta sobre como os assistentes de IA enxergam sua marca. Juntas, elas cobrem visibilidade, rastreamento, llms.txt, buscas e schema.
Todas as ferramentas gratuitas
Fontes
A documentação oficial que esta ferramenta segue, das empresas que operam os crawlers de IA contra os quais ela verifica.
