Howseen Academy › Module 3 : agir sur votre site et au-delà
Howseen Academy · Leçon 3.1
Bases techniques : permettre à l'IA de lire votre site
Avant le contenu et avant les mentions, une IA doit pouvoir récupérer et lire vos pages. Six vérifications, dans l'ordre, la plupart gratuites et rapides.
Par Raphaël Aubry, fondateur de Howseen AI · Mis à jour le À la fin de cette leçon, vous saurez
- Autorisez les robots de recherche IA qui vous font apparaître dans les réponses
- Vérifiez que votre contenu est dans le HTML, pas seulement en JavaScript
- Configurez l'indexation, les données structurées et llms.txt dans le bon ordre
Vérification 1
Quels robots IA autoriser dans robots.txt ?
Autorisez les robots de recherche : OAI-SearchBot pour la recherche ChatGPT, PerplexityBot pour Perplexity, ainsi que Googlebot et Bingbot. Bloquer les robots d'entraînement comme GPTBot est un choix distinct.
robots.txt est un petit fichier texte à la racine de votre site qui indique aux robots quelles pages ils peuvent récupérer (Google Search Central, Introduction à robots.txt). Les entreprises d'IA utilisent plusieurs robots, qui n'ont pas tous le même rôle :
| Robot | Entreprise | À quoi il sert | Notre conseil |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Fait apparaître des sites web dans la recherche ChatGPT | Autoriser |
| GPTBot | OpenAI | Collecte du contenu susceptible d'entraîner les modèles OpenAI | Votre choix, indépendant de la recherche |
| ChatGPT-User | OpenAI | Visite une page lorsqu'un utilisateur le demande à ChatGPT | Autoriser |
| PerplexityBot | Perplexity | Fait apparaître et lie des sites web dans les résultats Perplexity | Autoriser |
| Google-Extended | Entraînement et grounding de Gemini ; aucun effet sur Google Search | Votre choix | |
| Googlebot, Bingbot | Google, Microsoft | Index de recherche classiques, aussi lus par les fonctionnalités IA | Autoriser |
« Les sites qui se désinscrivent d'OAI-SearchBot n'apparaîtront pas dans les réponses de la recherche ChatGPT, mais peuvent toujours apparaître comme liens de navigation. »
Un point de départ sûr pour la plupart des sites ressemble à ceci (adaptez les lignes Disallow à vos pages privées) :
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Disallow: /admin/
Sitemap: https://www.yoursite.com/sitemap.xmlSources : OpenAI, Présentation des robots d'exploration OpenAI, Perplexity, robots d'exploration Perplexity, Google Search Central, les robots d'exploration courants de Google (Google-Extended). Vérifiez votre fichier actuel en quelques secondes avec le vérificateur de robots IA gratuit.
Attention. Certains paramètres de sécurité et de CDN bloquent les robots IA sans toucher à robots.txt. Si un outil de vérification indique qu'un robot est bloqué alors que votre robots.txt l'autorise, vérifiez les paramètres de votre pare-feu ou de votre CDN.
Vérification 2
Votre contenu est-il dans le HTML, ou seulement en JavaScript ?
Les robots IA lisent le HTML envoyé par votre serveur. Si votre texte n'apparaît qu'après l'exécution de JavaScript dans un navigateur, la plupart d'entre eux voient une page vide.
« Les résultats montrent systématiquement qu'aucun des grands robots IA ne rend actuellement le JavaScript. »
Dans cette même analyse de son réseau, GPTBot a effectué 569 millions de requêtes en un mois et Claude 370 millions, soit environ 20 % des 4,5 milliards de Googlebot (Vercel, The rise of the AI crawler (17 décembre 2024)). Ces robots comptent, et ils lisent le HTML brut.
- Ouvrez l'une de vos pages clés, faites un clic droit et choisissez Afficher le code source de la page (pas Inspecter).
- Recherchez dans le code source une phrase tirée du milieu de la page.
- Si vous ne la trouvez pas, votre contenu est ajouté par JavaScript. Demandez à votre développeur un rendu côté serveur ou des pages statiques. Ou utilisez l'inspecteur d'URL pour robots IA gratuit, qui montre ce que GPTBot récupère.
Vérification 3
Vos pages sont-elles indexées par Google et Bing ?
AI Overviews et AI Mode n'affichent que les pages que Google a indexées, et Bing gère l'autre grand index de recherche. Être indexé est le ticket d'entrée, pas un bonus.
Google indique qu'une page doit être indexée et éligible à l'affichage avec un extrait pour apparaître comme lien de support dans AI Overviews ou AI Mode (Google Search Central, fonctionnalités IA et votre site). Soumettez un sitemap, corrigez les pages marquées comme exclues, et assurez-vous qu'aucune page que vous souhaitez voir citée ne porte une balise noindex.
Connectez les deux consoles à votre site, puis à Howseen : leçon 4.2 pour Google Search Console et leçon 4.3 pour Bing Webmaster Tools.
Vérification 4
Quelles données structurées devriez-vous ajouter ?
Ajoutez Organization sur votre page d'accueil, FAQPage là où vous avez une FAQ, et Article sur vos guides. Les données structurées énoncent des faits dans un format que les machines lisent sans avoir à deviner.
« Les données structurées sont un format standardisé permettant de fournir des informations sur une page et de classifier son contenu. »
Google utilise les données structurées pour comprendre le contenu d'une page ainsi que les personnes et entreprises qu'elle mentionne (Google Search Central, Introduction aux données structurées). Pour le GEO, l'intérêt réside dans la clarté : votre nom, ce que vous vendez, vos questions et réponses, écrits dans un format standard. Générez le code gratuitement avec le générateur de schéma.
Vérification 5
Faut-il ajouter un fichier llms.txt ?
Oui, comme une hygiène basique, pas comme un levier de classement. llms.txt est une proposition de fichier simple qui indique aux agents IA vos pages les plus utiles.
L'idée du llms.txt est décrite sur llmstxt.org, The /llms.txt file comme une proposition pour aider les agents à utiliser un site web. Cela prend dix minutes, cela ne fait aucun mal, et cela vous oblige à lister vos pages clés. N'attendez pas que cela seul change votre visibilité. Créez-en un avec le générateur llms.txt gratuit.
Vérification 6
Quelles bases de page comptent encore ?
Un titre clair, une meta description, un H1, une balise canonique, une page de contact et des réponses rapides. Elles aident Google et l'IA à bien lire votre page.
- Un titre qui dit de quoi parle la page, et une meta description qui dit ce que vous faites et pour qui.
- Exactement un H1 en haut de page, en mots simples.
- Une balise canonique qui pointe vers l'adresse préférée de la page.
- Des pages de confiance visibles : contact, politique de remboursement ou de retour, confidentialité. Elles montrent aux personnes et aux machines qu'une entreprise réelle et joignable est derrière le site.
- Une réponse serveur rapide, pour que les robots ne renoncent pas face aux pages lourdes.
Dans Howseen
Comment Howseen vérifie-t-il cela pour vous ?
La page Audit technique vérifie votre page d'accueil pour détecter ces blocages, donne à chaque problème une priorité et la correction exacte, et alimente le levier Technique de votre score GEO.
- Ouvrez Audit technique dans le menu de gauche, sous Optimiser.
- Lisez le Health score et la liste des Problèmes détectés. Chaque problème a une priorité, les points que vous pouvez gagner, et une ligne Comment corriger :.
- Corrigez d'abord les problèmes de priorité haute : noindex, contenu qui nécessite JavaScript, robots IA bloqués dans le robots.txt.
- Cliquez sur Relancer après vos modifications pour confirmer que les blocages ont disparu.
L'audit est inclus dans tous les plans, Starter compris.
Questions, réponses
Dois-je bloquer GPTBot ?+
C'est votre choix et cela ne vous retire pas de la recherche ChatGPT. OpenAI indique que GPTBot sert à l'entraînement et OAI-SearchBot à la recherche, et que les deux réglages sont indépendants.
Est-ce que llms.txt améliore ma visibilité IA ?+
Ne comptez pas dessus. C'est une proposition qui aide les agents à trouver vos pages clés. Cela coûte peu à ajouter, donc ajoutez-le, mais consacrez l'essentiel de votre effort au contenu et aux mentions.
Comment savoir si les robots IA peuvent lire mon site ?+
Affichez le code source de la page et recherchez votre texte, ou utilisez un vérificateur de robots gratuit. Si le texte est absent du code source, la plupart des robots IA ne le voient pas.
Google-Extended affecte-t-il mon classement Google ?+
Google indique que Google-Extended n'a pas d'impact sur l'inclusion d'un site dans la recherche Google et n'est pas un signal de classement. Il contrôle l'utilisation de votre contenu pour Gemini.
Quelle correction technique compte le plus ?+
Ne pas être bloqué. Une balise noindex, une règle robots.txt contre les robots de recherche, ou un contenu qui n'existe qu'en JavaScript peuvent cacher entièrement un site des réponses IA.
Découvrez qui l'IA recommande à votre place
Howseen exécute vos questions d'acheteurs sur les moteurs IA tous les quelques jours, montre qui est cité à votre place, et rédige les pages qui comblent cet écart.
Essai gratuit de 3 jours, annulation en 1 clic.
