Basi tecniche: fai leggere il tuo sito all'AI

Controllo 1

Quali crawler AI dovresti consentire in robots.txt?

Consenti i crawler di ricerca: OAI-SearchBot per la ricerca di ChatGPT, PerplexityBot per Perplexity, oltre a Googlebot e Bingbot. Bloccare i crawler di addestramento come GPTBot è una scelta a parte.

robots.txt è un piccolo file di testo alla radice del tuo sito che indica ai crawler quali pagine possono recuperare (Google Search Central, Introduzione a robots.txt). Le aziende AI usano diversi crawler, e non svolgono tutti lo stesso compito:

“I siti che hanno disattivato OAI-SearchBot non compariranno nelle risposte della ricerca di ChatGPT, anche se possono ancora apparire come link di navigazione.”

Un punto di partenza sicuro per la maggior parte dei siti è questo (adatta le righe Disallow alle tue pagine private):

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.yoursite.com/sitemap.xml

Fonti: OpenAI, Panoramica dei crawler OpenAI, Perplexity, crawler di Perplexity, Google Search Central, i crawler comuni di Google (Google-Extended). Verifica il tuo file attuale in pochi secondi con il verificatore di crawler AI gratuito.

Attenzione. Alcune impostazioni di sicurezza e CDN bloccano i bot AI per te, senza toccare robots.txt. Se uno strumento di verifica segnala un bot bloccato e il tuo robots.txt lo consente, controlla le impostazioni del tuo firewall o della CDN per i bot.

Controllo 2

Il tuo contenuto è nell'HTML, o solo in JavaScript?

I crawler AI leggono l'HTML inviato dal tuo server. Se il tuo testo appare solo dopo l'esecuzione di JavaScript nel browser, la maggior parte di loro vede una pagina vuota.

“I risultati mostrano in modo costante che nessuno dei principali crawler AI attualmente esegue il rendering di JavaScript.”

In quella stessa analisi della propria rete, GPTBot ha effettuato 569 milioni di richieste in un mese e Claude 370 milioni, circa il 20% dei 4,5 miliardi di Googlebot (Vercel, The rise of the AI crawler (17 dicembre 2024)). Questi bot contano, e leggono HTML grezzo.

1. Apri una delle tue pagine chiave, fai clic destro e scegli Visualizza sorgente pagina (non Ispeziona).
2. Cerca nel sorgente una frase presa dal centro della pagina.
3. Se non la trovi, il tuo contenuto viene aggiunto da JavaScript. Chiedi al tuo sviluppatore il rendering lato server o pagine statiche. Oppure usa l'AI crawler URL inspector gratuito, che mostra cosa riceve GPTBot.

Controllo 3

Le tue pagine sono indicizzate da Google e Bing?

AI Overviews e AI Mode mostrano solo pagine che Google ha indicizzato, e Bing gestisce l'altro grande indice di ricerca. Essere indicizzati è il biglietto d'ingresso, non un bonus.

Google afferma che una pagina deve essere indicizzata e idonea a essere mostrata con uno snippet per comparire come link di supporto in AI Overviews o AI Mode (Google Search Central, Funzionalità AI e il tuo sito web). Invia una sitemap, correggi le pagine segnate come escluse e assicurati che nessuna pagina che vuoi veder citata porti un tag noindex.

Collega entrambe le console al tuo sito, poi a Howseen: lezione 4.2 per Google Search Console e lezione 4.3 per Bing Webmaster Tools.

Controllo 4

Quali dati strutturati dovresti aggiungere?

Aggiungi Organization sulla tua home page, FAQPage dove hai una FAQ, e Article sulle tue guide. I dati strutturati esprimono fatti in un formato che le macchine leggono senza dover indovinare.

“I dati strutturati sono un formato standardizzato per fornire informazioni su una pagina e classificarne il contenuto.”

Google usa i dati strutturati per capire il contenuto di una pagina e le persone e aziende che menziona (Google Search Central, Introduzione ai dati strutturati). Per la GEO, ciò che conta è la chiarezza: il tuo nome, cosa vendi, le tue domande e risposte, scritte in un formato standard. Genera il codice gratis con lo schema generator.

Controllo 5

Dovresti aggiungere un file llms.txt?

Sì, come igiene economica, non come leva di ranking. llms.txt è una proposta per un file semplice che indica agli agenti AI le tue pagine più utili.

L'idea di llms.txt è descritta su llmstxt.org, The /llms.txt file come una proposta per aiutare gli agenti a usare un sito web. Richiede dieci minuti, non fa danni e ti costringe a elencare le tue pagine chiave. Non aspettarti che da sola cambi la tua visibilità. Creane uno con il generatore llms.txt gratuito.

Verifica 6

Quali basi della pagina contano ancora?

Un titolo chiaro, una meta description, un H1, un tag canonico, una pagina contatti e risposte veloci. Aiutano sia Google che le AI a leggere correttamente la tua pagina.

• Un titolo che dice di cosa parla la pagina, e una meta description che dice cosa fai e per chi.
• Esattamente un H1 vicino all'inizio, in parole semplici.
• Un tag canonico che indica l'indirizzo preferito della pagina.
• Pagine di fiducia visibili: contatti, politica di rimborso o reso, privacy. Mostrano a persone e macchine che dietro il sito c'è un'attività reale e raggiungibile.
• Una risposta veloce del server, così i crawler non rinunciano sulle pagine grandi.

In Howseen

Come verifica questo Howseen per te?

La pagina Technical Audit controlla la tua home page alla ricerca di questi blocchi, assegna a ogni problema una priorità e la soluzione esatta, e alimenta la leva Technical del tuo punteggio GEO.

1. Apri Technical Audit nel menu a sinistra, sotto Optimize.
2. Leggi l'Health score e l'elenco dei Issues detected. Ogni problema ha una priorità, i punti che puoi guadagnare e una riga How to fix:.
3. Correggi prima i problemi ad alta priorità: noindex, contenuti che richiedono JavaScript, crawler AI bloccati nel robots.txt.
4. Clicca su Re-run dopo le modifiche per confermare che i blocchi siano spariti.

L'audit è incluso in ogni piano, Starter compreso.