Kostenlose Tools / AI Crawler Checker
Können KI-Crawler Ihre Website lesen?
Prüfen Sie Ihre robots.txt für GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot und Google-Extended, ob Ihr Inhalt ohne JavaScript angezeigt wird und ob eine Firewall KI-Bots blockiert.
Von Raphaël Aubry, Gründer von Howseen AI · Aktualisiert am
Kostenlos, keine Anmeldung. Ihr Ergebnis erscheint direkt hier.
So funktioniert's
Der Checker liest Ihre robots.txt so, wie es jeder KI-Crawler tut, ruft Ihre Seite als rohes HTML und mit einem GPTBot User-Agent ab und zeigt jede Regel, Firewall oder noindex an, die KI blockiert.
„Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, auf welche URLs der Crawler auf Ihrer Website zugreifen darf.“
Google Search Central, Introduction to robots.txt
Geben Sie Ihre Website ein
Jede öffentliche URL, keine Anmeldung.
Wir lesen sie wie ein KI-Crawler
Ihre robots.txt-Regeln für 10 KI- und Such-Bots, Ihr rohes HTML und eine Anfrage mit einem GPTBot User-Agent.
Beheben Sie, was KI blockiert
Erlaubt oder blockiert, Bot für Bot, mit der genauen Regel und wie Sie sie beheben.
FAQ
Kurze Antworten auf die Fragen, die am häufigsten gestellt werden, bevor Nutzer den AI Crawler Checker ausführen, basierend darauf, was das Tool tatsächlich prüft.
Sollte ich GPTBot in robots.txt blockieren?+
In der Regel nein. GPTBot ist der Trainings-Crawler von OpenAI, während OAI-SearchBot hinter der ChatGPT-Suche steht. Nur GPTBot zu blockieren, entfernt Sie also nicht aus ChatGPT-Antworten. Das eigentliche Risiko ist eine pauschale Regel, die jeden Bot blockiert.
Steuert Google-Extended die AI Overviews?+
Nein. Google-Extended steuert nur die Nutzung Ihrer Inhalte für das Training von Gemini. AI Overviews und AI Mode nutzen den normalen Googlebot-Zugriff.
Warum ist Inhalt ohne JavaScript wichtig?+
Die meisten KI-Crawler rufen das rohe HTML ab und führen kein JavaScript aus. Wenn Ihre Seite ihren Text im Browser aufbaut, sehen sie möglicherweise eine leere Seite.
Was ist llms.txt?+
Eine kurze Markdown-Datei im Stammverzeichnis Ihrer Website, die Ihre wichtigsten Seiten für KI-Agenten auflistet. Sie ist optional und kein Ranking-Faktor, hilft Agenten aber, die richtigen Seiten zu finden. Sie können eine mit unserem LLMs.txt Generator erstellen.
Mehr erfahren: GPTBot, ClaudeBot, PerplexityBot: der robots.txt-Guide
Weitere kostenlose Tools
Jedes kostenlose Tool beantwortet eine Frage darüber, wie KI-Assistenten Ihre Marke sehen. Zusammen decken sie Sichtbarkeit, Crawling, llms.txt, Suchanfragen und Schema ab.
Quellen
Die offizielle Dokumentation, der dieses Tool folgt, von den Unternehmen, die die KI-Crawler betreiben, und den Standards, gegen die es prüft.
