Strumenti gratuiti / AI Crawler Checker
I crawler AI riescono a leggere il tuo sito?
Controlla il tuo robots.txt per GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot e Google-Extended, se i tuoi contenuti sono visibili senza JavaScript e se un firewall blocca i bot AI.
Di Raphaël Aubry, fondatore di Howseen AI · Aggiornato
Gratis, senza registrazione. Il risultato appare qui sotto.
Come funziona
Il checker legge il tuo robots.txt come farebbe ogni crawler AI, scarica la tua pagina come HTML grezzo e con uno user agent GPTBot, e segnala qualsiasi regola, firewall o noindex che blocca l'AI.
“Un file robots.txt indica ai crawler dei motori di ricerca quali URL possono essere consultati sul tuo sito.”
Google Search Central, Introduzione a robots.txt
Inserisci il tuo sito
Qualsiasi URL pubblico, senza registrazione.
Lo leggiamo come un crawler AI
Le regole del tuo robots.txt per 10 bot AI e di ricerca, il tuo HTML grezzo e una richiesta con uno user agent GPTBot.
Correggi ciò che blocca l'AI
Consentito o bloccato, bot per bot, con la regola esatta e come correggerla.
FAQ
Risposte brevi alle domande più frequenti prima di usare l'AI crawler checker, basate su ciò che lo strumento verifica davvero.
Dovrei bloccare GPTBot nel robots.txt?+
Di solito no. GPTBot è il crawler di addestramento di OpenAI, mentre OAI-SearchBot è quello dietro la ricerca di ChatGPT, quindi bloccare solo GPTBot non ti toglie dalle risposte di ChatGPT. Una regola generica che blocca tutti i bot è il vero rischio.
Google-Extended controlla gli AI Overviews?+
No. Google-Extended controlla solo l'utilizzo dei tuoi contenuti per l'addestramento di Gemini. Gli AI Overviews e l'AI Mode usano l'accesso standard di Googlebot.
Perché i contenuti senza JavaScript sono importanti?+
La maggior parte dei crawler AI scarica l'HTML grezzo e non esegue JavaScript. Se la tua pagina costruisce il testo nel browser, potrebbero vedere una pagina vuota.
Cos'è llms.txt?+
Un breve file markdown nella root del tuo sito che elenca le pagine chiave per gli agenti AI. È opzionale e non è un fattore di ranking, ma aiuta gli agenti a trovare le pagine giuste. Puoi generarne uno con il nostro LLMs.txt generator.
Vai oltre: GPTBot, ClaudeBot, PerplexityBot: la guida al robots.txt
Altri strumenti gratuiti
Ogni strumento gratuito risponde a una domanda su come gli assistenti AI vedono il tuo brand. Insieme coprono visibilità, scansione, llms.txt, ricerche e schema.
Fonti
La documentazione ufficiale seguita da questo strumento, pubblicata dalle aziende che gestiscono i crawler AI e dagli standard su cui si basano i controlli.
