Technische Grundlagen: Lassen Sie KI Ihre Website lesen

Check 1

Welche KI-Crawler sollten Sie in robots.txt zulassen?

Lassen Sie die Suchcrawler zu: OAI-SearchBot für die ChatGPT-Suche, PerplexityBot für Perplexity, sowie Googlebot und Bingbot. Das Blockieren von Trainings-Crawlern wie GPTBot ist eine separate Entscheidung.

robots.txt ist eine kleine Textdatei im Stammverzeichnis Ihrer Website, die Crawlern mitteilt, welche Seiten sie abrufen dürfen (Google Search Central, Introduction to robots.txt). KI-Unternehmen nutzen mehrere Crawler, die nicht dieselbe Aufgabe haben:

„Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.“

Ein sicherer Ausgangspunkt für die meisten Websites sieht so aus (passen Sie die Disallow-Zeilen an Ihre privaten Seiten an):

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.yoursite.com/sitemap.xml

Quellen: OpenAI, Überblick über OpenAI-Crawler, Perplexity, Perplexity-Crawler, Google Search Central, die gängigen Crawler von Google (Google-Extended). Prüfen Sie Ihre aktuelle Datei in Sekunden mit dem kostenlosen AI Crawler Checker.

Achtung. Manche Sicherheits- und CDN-Einstellungen blockieren KI-Bots, ohne robots.txt zu berühren. Wenn ein Checker meldet, dass ein Bot blockiert ist, Ihre robots.txt ihn aber zulässt, prüfen Sie Ihre Firewall- oder CDN-Bot-Einstellungen.

Check 2

Stehen Ihre Inhalte im HTML oder nur in JavaScript?

KI-Crawler lesen das HTML, das Ihr Server ausliefert. Wenn Ihr Text erst erscheint, nachdem JavaScript im Browser ausgeführt wurde, sehen die meisten von ihnen nur eine leere Seite.

„The results consistently show that none of the major AI crawlers currently render JavaScript.“

In derselben Analyse seines Netzwerks verzeichnete Vercel 569 Millionen Abrufe von GPTBot und 370 Millionen von Claude in einem Monat, etwa 20% der 4,5 Milliarden von Googlebot (Vercel, The rise of the AI crawler (December 17, 2024)). Diese Bots sind relevant, und sie lesen rohes HTML.

1. Öffnen Sie eine Ihrer wichtigsten Seiten, klicken Sie mit der rechten Maustaste und wählen Sie Seitenquelltext anzeigen (nicht Untersuchen).
2. Suchen Sie im Quelltext nach einem Satz aus der Mitte der Seite.
3. Finden Sie ihn nicht, werden Ihre Inhalte per JavaScript hinzugefügt. Bitten Sie Ihre Entwicklerin oder Ihren Entwickler um serverseitiges Rendering oder statische Seiten. Oder nutzen Sie den kostenlosen AI Crawler URL Inspector, der zeigt, was GPTBot tatsächlich erhält.

Check 3

Sind Ihre Seiten bei Google und Bing indexiert?

AI Overviews und AI Mode zeigen nur Seiten, die Google indexiert hat, und Bing betreibt den anderen großen Suchindex. Indexiert zu sein ist die Eintrittskarte, kein Bonus.

Google gibt an, dass eine Seite indexiert und für die Anzeige mit einem Snippet berechtigt sein muss, um als unterstützender Link in AI Overviews oder AI Mode zu erscheinen (Google Search Central, AI features and your website). Reichen Sie eine Sitemap ein, beheben Sie als ausgeschlossen markierte Seiten, und stellen Sie sicher, dass keine Seite, die Sie zitiert haben möchten, ein noindex-Tag trägt.

Verbinden Sie beide Konsolen mit Ihrer Website und anschließend mit Howseen: Lektion 4.2 für Google Search Console und Lektion 4.3 für Bing Webmaster Tools.

Check 4

Welche strukturierten Daten sollten Sie hinzufügen?

Fügen Sie Organization auf Ihrer Startseite hinzu, FAQPage wo Sie FAQs haben, und Article auf Ihren Guides. Strukturierte Daten geben Fakten in einem Format an, das Maschinen ohne Rätselraten lesen können.

„Structured data is a standardized format for providing information about a page and classifying the page content.“

Google nutzt strukturierte Daten, um den Inhalt einer Seite sowie die darin genannten Personen und Unternehmen zu verstehen (Google Search Central, Introduction to structured data). Für GEO zählt vor allem die Klarheit: Ihr Name, was Sie anbieten, Ihre Fragen und Antworten, in einem Standardformat geschrieben. Generieren Sie den Code kostenlos mit dem Schema Generator.

Check 5

Sollten Sie eine llms.txt-Datei hinzufügen?

Ja, als günstige Hygienemaßnahme, nicht als Ranking-Hebel. llms.txt ist ein Vorschlag für eine einfache Datei, die KI-Agenten auf Ihre nützlichsten Seiten verweist.

Die llms.txt-Idee wird auf llmstxt.org, The /llms.txt file als Vorschlag beschrieben, der Agenten die Nutzung einer Website erleichtern soll. Es dauert zehn Minuten, schadet nicht und zwingt Sie, Ihre wichtigsten Seiten aufzulisten. Erwarten Sie nicht, dass es allein Ihre Sichtbarkeit verändert. Erstellen Sie eine mit dem kostenlosen llms.txt-Generator.

Check 6

Welche Seiten-Grundlagen zählen noch?

Ein klarer Title, eine Meta-Description, ein H1, ein Canonical-Tag, eine Kontaktseite und schnelle Antwortzeiten. Sie helfen sowohl Google als auch KI, Ihre Seite korrekt zu lesen.

• Ein Title, der sagt, worum es auf der Seite geht, und eine Meta-Description, die sagt, was Sie tun und für wen.
• Genau ein H1 weit oben, in klaren Worten.
• Ein Canonical-Tag, das auf die bevorzugte Adresse der Seite verweist.
• Sichtbare Vertrauensseiten: Kontakt, Rückgabe- oder Erstattungsrichtlinie, Datenschutz. Sie zeigen Menschen und Maschinen, dass hinter der Website ein echtes, erreichbares Unternehmen steht.
• Eine schnelle Serverantwort, damit Crawler bei großen Seiten nicht aufgeben.

In Howseen

Wie prüft Howseen das für Sie?

Die Technical-Audit-Seite prüft Ihre Startseite auf diese Blockaden, gibt jedem Problem eine Priorität und die genaue Lösung und fließt in den Technical-Hebel Ihres GEO-Scores ein.

1. Öffnen Sie Technical Audit im linken Menü, unter Optimize.
2. Lesen Sie den Health score und die Liste der Issues detected. Jedes Problem hat eine Priorität, die möglichen Punkte und eine Zeile How to fix:.
3. Beheben Sie zuerst die Probleme mit hoher Priorität: noindex, Inhalte, die JavaScript benötigen, in robots.txt blockierte KI-Crawler.
4. Klicken Sie nach Ihren Änderungen auf Re-run, um zu bestätigen, dass die Blockaden behoben sind.

Das Audit ist in jedem Plan enthalten, auch im Starter-Plan.