Strumenti gratuiti / Ispettore URL crawler AI
Vedi questa pagina come la vede GPTBot
Incolla un URL. Lo recuperiamo come browser e come GPTBot, e ti mostriamo titolo, meta description, conteggio parole, estratto del contenuto e dati strutturati esatti ottenuti da ciascuno.
Di Raphaël Aubry, fondatore di Howseen AI · Aggiornato il
Gratis, senza registrazione. Il risultato appare qui sotto.
Come funziona
La maggior parte dei crawler AI, incluso GPTBot di OpenAI, recupera l'HTML grezzo di una pagina e non esegue JavaScript. Richiediamo il tuo URL due volte, una come browser normale e una con lo user agent di GPTBot, e ti mostriamo entrambi i risultati fianco a fianco.
“GPTBot viene utilizzato per raccogliere contenuti che possono essere usati per addestrare i nostri modelli AI generativi di base.”
OpenAI, Panoramica dei crawler di OpenAI
Incolla un URL
Qualsiasi pagina pubblica: home, prezzi, un articolo del blog.
Lo recuperiamo due volte
Una volta come browser, una volta con lo user agent di GPTBot, e confrontiamo la risposta.
Visualizza il contenuto estratto
Titolo, meta description, conteggio parole, un estratto del contenuto e i dati strutturati trovati.
FAQ
Risposte brevi alle domande più frequenti prima di usare l'ispettore URL per crawler, basate su ciò che lo strumento verifica davvero.
Perché GPTBot dovrebbe vedere qualcosa di diverso dal mio browser?+
Se il tuo contenuto viene generato da JavaScript dopo il caricamento della pagina, un crawler che non esegue JavaScript vede una pagina vuota o quasi vuota, anche se il tuo browser mostra il contenuto completo.
Cosa significa “bloccato” in questo contesto?+
La richiesta del tuo browser è andata a buon fine ma quella di GPTBot è fallita o è stata rifiutata, di solito a causa di un firewall o di una regola anti-bot che blocca specificamente lo user agent di GPTBot.
Un estratto breve indica un problema?+
Non sempre. Una pagina breve può essere normale. Confronta il conteggio parole con quello che ti aspetti per la tua pagina; un conteggio quasi pari a zero su una pagina ricca di contenuti di solito significa che il testo non è presente nell'HTML grezzo.
Cos'è l'elenco dei dati strutturati?+
I valori @type di schema.org trovati in qualsiasi tag script JSON-LD sulla pagina, come Organization, Product o FAQPage. Un elenco vuoto significa che non sono stati trovati dati strutturati.
Vai oltre: Verifica le regole del file robots.txt dell'intero sito
Altri strumenti gratuiti
Ogni strumento gratuito risponde a una domanda su come gli assistenti AI vedono il tuo brand. Insieme coprono visibilità, scansione, llms.txt, ricerche e schema.
Fonti
La documentazione ufficiale seguita da questo strumento, fornita dalle aziende che gestiscono i crawler AI con cui esegue il confronto.
