Fundamentos técnicos: deixe a IA ler seu site

Verificação 1

Quais crawlers de IA você deve permitir no robots.txt?

Permita os crawlers de busca: OAI-SearchBot para a busca do ChatGPT, PerplexityBot para o Perplexity, além do Googlebot e do Bingbot. Bloquear crawlers de treinamento como o GPTBot é uma decisão separada.

O robots.txt é um pequeno arquivo de texto na raiz do seu site que informa aos crawlers quais páginas eles podem acessar (Google Search Central, Introduction to robots.txt). As empresas de IA usam vários crawlers, e eles não fazem o mesmo trabalho:

“Sites que optarem por sair do OAI-SearchBot não aparecerão nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação.”

Um ponto de partida seguro para a maioria dos sites é este (adapte as linhas Disallow às suas páginas privadas):

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.yoursite.com/sitemap.xml

Fontes: OpenAI, Visão geral dos crawlers da OpenAI, Perplexity, Crawlers da Perplexity, Google Search Central, Crawlers comuns do Google (Google-Extended). Confira seu arquivo atual em segundos com o verificador gratuito de crawlers de IA.

Atenção. Algumas configurações de segurança e CDN bloqueiam bots de IA por você, sem mexer no robots.txt. Se um verificador disser que um bot está bloqueado e seu robots.txt o permite, verifique as configurações do seu firewall ou CDN.

Verificação 2

Seu conteúdo está no HTML ou apenas em JavaScript?

Os crawlers de IA leem o HTML enviado pelo seu servidor. Se seu texto só aparece depois que o JavaScript é executado no navegador, a maioria deles vê uma página vazia.

“Os resultados mostram consistentemente que nenhum dos principais crawlers de IA renderiza JavaScript atualmente.”

Nessa mesma análise de sua rede, o GPTBot fez 569 milhões de acessos em um mês e o Claude 370 milhões, cerca de 20% dos 4,5 bilhões do Googlebot (Vercel, The rise of the AI crawler (17 de dezembro de 2024)). Esses bots importam, e eles leem HTML bruto.

1. Abra uma de suas páginas principais, clique com o botão direito e escolha Ver código-fonte da página (não Inspecionar).
2. Procure no código-fonte por uma frase do meio da página.
3. Se você não encontrar, seu conteúdo é adicionado por JavaScript. Peça ao seu desenvolvedor renderização no lado do servidor ou páginas estáticas. Ou use o inspetor de URL para crawlers de IA gratuito, que mostra o que o GPTBot recebe.

Verificação 3

Suas páginas estão indexadas pelo Google e pelo Bing?

O AI Overviews e o AI Mode só exibem páginas que o Google indexou, e o Bing mantém o outro grande índice de busca. Estar indexado é o ingresso de entrada, não um bônus.

O Google afirma que uma página precisa estar indexada e elegível para ser exibida com um snippet para aparecer como link de apoio no AI Overviews ou no AI Mode (Google Search Central, AI features and your website). Envie um sitemap, corrija páginas marcadas como excluídas e garanta que nenhuma página que você queira citada tenha a tag noindex.

Conecte os dois consoles ao seu site e depois ao Howseen: aula 4.2 para o Google Search Console e aula 4.3 para o Bing Webmaster Tools.

Verificação 4

Que dados estruturados você deve adicionar?

Adicione Organization na sua página inicial, FAQPage onde você tiver um FAQ e Article nos seus guias. Dados estruturados declaram fatos em um formato que as máquinas leem sem precisar adivinhar.

“Dados estruturados são um formato padronizado para fornecer informações sobre uma página e classificar seu conteúdo.”

O Google usa dados estruturados para entender o conteúdo de uma página e as pessoas e empresas que ela menciona (Google Search Central, Introduction to structured data). Para o GEO, o que importa é a clareza: seu nome, o que você vende, suas perguntas e respostas, escritos em um formato padrão. Gere o código gratuitamente com o gerador de schema.

Verificação 5

Você deve adicionar um arquivo llms.txt?

Sim, como higiene barata, não como alavanca de ranqueamento. O llms.txt é uma proposta de arquivo simples que indica aos agentes de IA suas páginas mais úteis.

A ideia do llms.txt é descrita em llmstxt.org, The /llms.txt file como uma proposta para ajudar agentes a usar um site. Leva dez minutos, não causa nenhum dano, e te obriga a listar suas páginas principais. Não espere que ele sozinho mude sua visibilidade. Crie o seu com o gerador de llms.txt gratuito.

Verificação 6

Quais fundamentos de página ainda contam?

Um título claro, uma meta description, um H1, uma tag canonical, uma página de contato e respostas rápidas. Eles ajudam tanto o Google quanto a IA a ler sua página corretamente.

• Um título que diz do que trata a página, e uma meta description que diz o que você faz e para quem.
• Exatamente um H1 perto do topo, em palavras simples.
• Uma tag canonical que aponta para o endereço preferido da página.
• Páginas de confiança visíveis: contato, política de reembolso ou devolução, privacidade. Elas mostram a pessoas e máquinas que existe um negócio real e acessível por trás do site.
• Uma resposta rápida do servidor, para que os crawlers não desistam de páginas grandes.

Na Howseen

Como a Howseen verifica isso para você?

A página Technical Audit verifica sua página inicial em busca desses bloqueios, dá a cada problema uma prioridade e a correção exata, e alimenta a alavanca Technical do seu GEO score.

1. Abra Technical Audit no menu lateral, em Optimize.
2. Leia o Health score e a lista de Issues detected. Cada problema tem uma prioridade, os pontos que você pode ganhar, e uma linha How to fix:.
3. Corrija primeiro os problemas de alta prioridade: noindex, conteúdo que precisa de JavaScript, crawlers de IA bloqueados no robots.txt.
4. Clique em Re-run depois das suas alterações para confirmar que os bloqueios foram removidos.

A auditoria está incluída em todos os planos, inclusive no Starter.