Herramientas gratuitas / Inspector de URL para crawlers de IA
Mira esta página como la ve GPTBot
Pega una URL. La solicitamos como un navegador y como GPTBot, y te mostramos el título, la meta descripción, el número de palabras, el extracto de contenido y los datos estructurados exactos que recibe cada uno.
Por Raphaël Aubry, fundador de Howseen AI · Actualizado el
Gratis, sin registro. Tu resultado aparece justo aquí.
Cómo funciona
La mayoría de los crawlers de IA, incluido GPTBot de OpenAI, obtienen el HTML sin procesar de una página y no ejecutan JavaScript. Solicitamos tu URL dos veces, una como navegador normal y otra con el user agent de GPTBot, y te mostramos ambos resultados lado a lado.
“GPTBot se usa para rastrear contenido que puede utilizarse para entrenar nuestros modelos fundacionales de IA generativa.”
OpenAI, Resumen de los rastreadores de OpenAI
Pega una URL
Cualquier página pública: inicio, precios, una entrada de blog.
La solicitamos dos veces
Una vez como navegador, otra con el user agent de GPTBot, y comparamos la respuesta.
Consulta el contenido extraído
Título, meta descripción, número de palabras, un extracto de contenido y los datos estructurados encontrados.
Preguntas frecuentes
Respuestas breves a las preguntas más frecuentes antes de usar el inspector de URL para crawlers, basadas en lo que realmente comprueba la herramienta.
¿Por qué GPTBot vería algo distinto a lo que ve mi navegador?+
Si tu contenido se genera con JavaScript después de cargar la página, un crawler que no ejecuta JavaScript ve una página vacía o casi vacía, aunque tu navegador muestre el contenido completo.
¿Qué significa “bloqueado” aquí?+
La solicitud de tu navegador funcionó, pero la de GPTBot falló o fue rechazada, normalmente por un firewall o una regla de protección antibots que bloquea específicamente el user agent de GPTBot.
¿Un extracto corto significa que hay un problema?+
No siempre. Una página corta puede ser normal. Compara el número de palabras con lo que esperas que contenga tu página; un conteo casi nulo en una página con mucho contenido suele significar que el texto no está en el HTML sin procesar.
¿Qué es la lista de datos estructurados?+
Los valores @type de schema.org encontrados en cualquier etiqueta de script JSON-LD de la página, como Organization, Product o FAQPage. Una lista vacía significa que no se encontraron datos estructurados.
Ve más allá: Revisa las reglas robots.txt de todo tu sitio
Más herramientas gratuitas
Cada herramienta gratuita responde a una pregunta sobre cómo ven los asistentes de IA a tu marca. Juntas cubren visibilidad, rastreo, llms.txt, búsquedas y schema.
Todas las herramientas gratuitas
Fuentes
La documentación oficial que sigue esta herramienta, de las empresas que operan los crawlers de IA con los que se compara.
