Outils gratuits / Vérificateur de crawlers IA
Les crawlers IA peuvent-ils lire votre site ?
Vérifiez votre robots.txt pour GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot et Google-Extended, si votre contenu s'affiche sans JavaScript, et si un pare-feu bloque les bots IA.
Par Raphaël Aubry, fondateur de Howseen AI · Mis à jour le
Gratuit, sans inscription. Votre résultat s'affiche ici même.
Comment ça marche
Le vérificateur lit votre robots.txt comme le fait chaque crawler IA, récupère votre page en HTML brut et avec un user agent GPTBot, puis signale toute règle, pare-feu ou noindex qui bloque l'IA.
« Un fichier robots.txt indique aux crawlers des moteurs de recherche quelles URL ils peuvent explorer sur votre site. »
Google Search Central, Introduction à robots.txt
Entrez votre site
Toute URL publique, sans inscription.
Nous le lisons comme un crawler IA
Vos règles robots.txt pour 10 bots IA et de recherche, votre HTML brut, et une requête avec un user agent GPTBot.
Corrigez ce qui bloque l'IA
Autorisé ou bloqué, bot par bot, avec la règle exacte et comment la corriger.
FAQ
Réponses courtes aux questions les plus posées avant d'utiliser le vérificateur de crawlers IA, basées sur ce que l'outil vérifie réellement.
Dois-je bloquer GPTBot dans robots.txt ?+
En général non. GPTBot est le crawler d'entraînement d'OpenAI, tandis qu'OAI-SearchBot est celui derrière la recherche de ChatGPT. Bloquer uniquement GPTBot ne vous retire donc pas des réponses de ChatGPT. Le vrai risque est une règle générale qui bloque tous les bots.
Google-Extended contrôle-t-il les AI Overviews ?+
Non. Google-Extended contrôle uniquement l'utilisation de votre contenu pour l'entraînement de Gemini. Les AI Overviews et AI Mode utilisent l'accès standard de Googlebot.
Pourquoi le contenu sans JavaScript est-il important ?+
La plupart des crawlers IA récupèrent le HTML brut et n'exécutent pas JavaScript. Si votre page construit son texte dans le navigateur, ils peuvent voir une page vide.
Qu'est-ce que llms.txt ?+
Un court fichier markdown à la racine de votre site qui liste vos pages clés pour les agents IA. C'est optionnel et ce n'est pas un facteur de classement, mais cela aide les agents à trouver les bonnes pages. Vous pouvez en générer un avec notre générateur LLMs.txt.
Aller plus loin : GPTBot, ClaudeBot, PerplexityBot : le guide robots.txt
Plus d'outils gratuits
Chaque outil gratuit répond à une question sur la façon dont les assistants IA voient votre marque. Ensemble, ils couvrent la visibilité, l'exploration, le llms.txt, les recherches et le schema.
Sources
La documentation officielle suivie par cet outil, publiée par les entreprises qui exploitent les robots IA, et les standards par rapport auxquels il vérifie.
