Herramientas gratuitas / Comprobador de rastreadores de IA
¿Los rastreadores de IA pueden leer tu sitio?
Comprueba tu robots.txt para GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot y Google-Extended, si tu contenido se muestra sin JavaScript, y si un firewall bloquea a los bots de IA.
Por Raphaël Aubry, fundador de Howseen AI · Actualizado
Gratis, sin registro. Tu resultado aparece justo aquí.
Cómo funciona
El comprobador lee tu robots.txt tal como lo hace cada rastreador de IA, obtiene tu página en HTML puro y con un user agent de GPTBot, y señala cualquier regla, firewall o noindex que bloquee a la IA.
“Un archivo robots.txt indica a los rastreadores de los motores de búsqueda a qué URL pueden acceder en tu sitio.”
Google Search Central, Introducción a robots.txt
Introduce tu sitio
Cualquier URL pública, sin registro.
Lo leemos como lo haría un rastreador de IA
Las reglas de tu robots.txt para 10 bots de IA y búsqueda, tu HTML puro y una solicitud con un user agent de GPTBot.
Soluciona lo que bloquea a la IA
Permitido o bloqueado, bot por bot, con la regla exacta y cómo solucionarlo.
Preguntas frecuentes
Respuestas breves a las preguntas más frecuentes antes de usar el comprobador de rastreadores de IA, basadas en lo que la herramienta realmente comprueba.
¿Debería bloquear a GPTBot en robots.txt?+
Normalmente no. GPTBot es el rastreador de entrenamiento de OpenAI, mientras que OAI-SearchBot es el que está detrás de la búsqueda de ChatGPT, así que bloquear solo a GPTBot no te quita de las respuestas de ChatGPT. El verdadero riesgo es una regla general que bloquea a todos los bots.
¿Google-Extended controla las AI Overviews?+
No. Google-Extended solo controla el uso de tu contenido para entrenar a Gemini. AI Overviews y AI Mode usan el acceso estándar de Googlebot.
¿Por qué importa el contenido sin JavaScript?+
La mayoría de los rastreadores de IA obtienen el HTML puro y no ejecutan JavaScript. Si tu página genera su texto en el navegador, puede que vean una página vacía.
¿Qué es llms.txt?+
Un archivo markdown breve en la raíz de tu sitio que enumera tus páginas clave para los agentes de IA. Es opcional y no es un factor de posicionamiento, pero ayuda a los agentes a encontrar las páginas correctas. Puedes generar uno con nuestro generador de LLMs.txt.
Ve más allá: GPTBot, ClaudeBot, PerplexityBot: la guía de robots.txt
Más herramientas gratuitas
Cada herramienta gratuita responde a una pregunta sobre cómo ven los asistentes de IA a tu marca. Juntas cubren visibilidad, rastreo, llms.txt, búsquedas y schema.
Todas las herramientas gratuitas
Fuentes
La documentación oficial que sigue esta herramienta, de las empresas que gestionan los rastreadores de IA y los estándares con los que compara.
