Outils gratuits / Inspecteur d'URL pour crawlers IA
Voyez cette page comme la voit GPTBot
Collez une URL. Nous la récupérons comme un navigateur et comme GPTBot, puis affichons le titre, la meta description, le nombre de mots, l'extrait de contenu et les données structurées exacts que chacun obtient.
Par Raphaël Aubry, fondateur de Howseen AI · Mis à jour le
Gratuit, sans inscription. Votre résultat s'affiche ici même.
Comment ça marche
La plupart des crawlers IA, dont GPTBot d'OpenAI, récupèrent le code HTML brut d'une page et n'exécutent pas JavaScript. Nous demandons votre URL deux fois, une fois comme un navigateur normal et une fois avec le user agent de GPTBot, puis affichons les deux résultats côte à côte.
« GPTBot est utilisé pour explorer du contenu qui peut servir à entraîner nos modèles d'IA générative. »
OpenAI, Présentation des robots d'exploration d'OpenAI
Collez une URL
N'importe quelle page publique : accueil, tarifs, un article de blog.
Nous la récupérons deux fois
Une fois comme un navigateur, une fois avec le user agent de GPTBot, puis nous comparons la réponse.
Consultez le contenu extrait
Titre, meta description, nombre de mots, un extrait de contenu et les données structurées détectées.
FAQ
Réponses courtes aux questions les plus posées avant d'utiliser l'inspecteur d'URL pour crawlers, basées sur ce que l'outil vérifie réellement.
Pourquoi GPTBot verrait-il quelque chose de différent de mon navigateur ?+
Si votre contenu est construit avec JavaScript après le chargement de la page, un crawler qui n'exécute pas JavaScript voit une page vide ou presque vide, même si votre navigateur affiche le contenu complet.
Que signifie « bloqué » ici ?+
Votre requête navigateur a réussi mais la requête GPTBot a échoué ou a été refusée, généralement à cause d'un pare-feu ou d'une règle anti-bot bloquant spécifiquement le user agent de GPTBot.
Un extrait court signifie-t-il un problème ?+
Pas toujours. Une page courte peut être normale. Comparez le nombre de mots à ce que vous attendez de votre page ; un nombre proche de zéro sur une page riche en contenu signifie généralement que le texte n'est pas présent dans le HTML brut.
Qu'est-ce que la liste des données structurées ?+
Les valeurs @type de schema.org trouvées dans toute balise de script JSON-LD de la page, comme Organization, Product ou FAQPage. Une liste vide signifie qu'aucune donnée structurée n'a été trouvée.
Allez plus loin : Vérifiez les règles robots.txt de tout votre site
Plus d'outils gratuits
Chaque outil gratuit répond à une question sur la façon dont les assistants IA voient votre marque. Ensemble, ils couvrent la visibilité, l'exploration, le llms.txt, les recherches et le schema.
Sources
La documentation officielle que suit cet outil, publiée par les entreprises qui exploitent les crawlers IA qu'il vérifie.
