KI-Crawler & Agent Readiness
Sieh deine Website so, wie ein KI-Agent sie sieht.
Eine vergessene Zeile in der robots.txt, eine Firewall-Regel oder eine Seite, die es nur mit JavaScript gibt – und GPTBot, ClaudeBot und PerplexityBot können dich stillschweigend nicht lesen. Also zitiert dich die KI nie, und du siehst nie einen Fehler. Agent Readiness ruft deine Website als genau diese echten Crawler ab, durch deine Live-WAF, rendert sie ohne JavaScript und zeigt dir den Request-und-Response-Beleg hinter jedem Befund.
Eine Root-URL genügt · Ergebnisse in Minuten

Der blinde Fleck
Blockiere GPTBot mit einer robots.txt-Regel, die jemand vor Monaten eingetragen hat, oder veröffentliche eine Seite, deren Inhalt erst nach dem JavaScript erscheint – und KI-Engines können dich schlicht nicht lesen: keine Zitate, keine Empfehlungen, kein KI-Referral-Traffic. Es gibt keinen Fehler, den du abfangen könntest; du tauchst einfach nie in der Antwort auf.
Agent Readiness scannt den gesamten Zugriffspfad, von der Live-Matrix des Crawler-Zugriffs über das Headless-Rendering bis zur JS-Parität. So findest du die Blockaden, bevor sie dich still und leise Zitate kosten.
In drei Schritten von der Root-URL zum Readiness-Report
- 01Angeben
Eine Root-URL
Agent Readiness prüft auf Infrastruktur-Ebene und startet deshalb bei deiner Root-Domain, nicht bei einer einzelnen Seite. Keine Installation, kein Code.
- 02Prüfen
Als die echten KI-Crawler
Wir rufen deine Website als GPTBot, ClaudeBot, PerplexityBot und weitere ab, durch deine Live-WAF, rendern sie in einem Headless-Browser mit und ohne JavaScript und validieren die Standards, auf die sich Agenten stützen.
- 03Beheben
Ein bewerteter Report + dein Level
Ein Score von 0–100, ein Readiness-Level und jeder Blocker mit seiner Quellzeile und einer Korrektur in einer Zeile. Befunde zu Zugriff und Standards enthalten den exakten Request und die Response, die wir erfasst haben.
Was wir prüfen
Erreichen, rendern, lesen.
Ein Agent muss an deiner robots.txt und deiner Firewall vorbeikommen, die Seite ohne echten Browser rendern und Bedeutung daraus ziehen. Jedes Signal wird mit einem Konfidenz-Label bewertet, und was wir nicht verifizieren können, wird markiert – nie gegen dich gezählt.
Kommen die echten Crawler herein
- Live-Abruf als GPTBot, ClaudeBot, PerplexityBot und weitere
- robots.txt gegen 34 KI-Crawler-Agents
- Content-Signal-Kohärenz mit deinen Bot-Regeln
- WAF-/Firewall-Blockaden (pro Crawler-Identität)
- Indexierbarkeit (noindex / nosnippet)
Finden und lesen sie die Seite
- JS-Rendering-Parität (was ohne JS übrig bleibt)
- Above-the-Fold-Aufnahme dessen, was ein Agent sieht
- Sitemap, RFC 8288 Link-Header, Feeds
- Markdown-Aushandlung (Accept: text/markdown + Vary)
- llms.txt, validiert gegen die Spezifikation von llmstxt.org
Trauen und zitieren sie die Seite
- schema.org-@type- und Entitäten-Validierung
- Erreichbares Social-/og:image
- Strukturierte (JSON) Fehlerantworten
- BLUF-Klarheit + Beantwortbarkeit
- Aktualität & E-E-A-T-Vertrauenssignale
Dein Level
Eine Zahl – und die Stufe, auf der du stehst.
Neben dem Score von 0–100 ordnet jeder Scan deine Website einem Readiness-Level zu, heute L1 bis L3, mit L4-Signalen im erweiterten Panel. So weißt du immer, was als Nächstes zu tun ist.
- L1
Crawlable
KI-Crawler erreichen deine Seiten, ohne WAF- oder robots-Mauer dazwischen.
- L2
Bot-Aware
Du deklarierst Regeln pro Bot in robots oder Content-Signals, damit Crawler wissen, was willkommen ist.
- L3
Agent-Readable
Inhalte rendern ohne JavaScript, und du lieferst Markdown oder eine gültige llms.txt, die ein Agent übernehmen kann.
- L4
Agent-Operable
Erkannt, noch nicht bewertet
Live-Fähigkeiten wie MCP und APIs. Wir erkennen sie im erweiterten Panel; es ist die oberste Stufe, und die meisten Websites sind noch nicht dort.
Handeln, nicht nur beobachten
Die meisten Tools für KI-Sichtbarkeit zeigen dir die Lücke – und hören da auf. GEO Toolbox zeigt dir die Lücke – und gibt dir die Lösung dazu.
Agent Readiness bewertet dich nicht nur. Wenn ein Zugriffs- oder Standard-Check fehlschlägt, kommt er mit der Quellzeile (die robots.txt-Regel, der X-Robots-Tag-Header, die Firewall-Regel) und der Korrektur in einer Zeile.
ClaudeBot ist blockiert? Der Report zeigt dir die exakte robots.txt-Zeile, die das tut, und was zu ändern ist – du gibst ihn frei, und der nächste Scan stellt ihn auf erlaubt um.
Danach die Seite selbst mit dem Content Analyzer bewertenWas den Unterschied macht
Der Zugriffspfad, nicht nur die Seite.
Zugriff, belegt
Als die echten Crawler abgerufen
Andere Tools lesen nur deine robots.txt. Wir rufen deine Website tatsächlich als GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot und CCBot ab, durch deine Live-WAF, und berichten, was jeder einzelne wirklich zurückbekommt. Eine Firewall-Regel, die ClaudeBot stillschweigend verwirft, taucht hier auf – ein Blick in die robots.txt erwischt sie nie.
Belege zum Nachlesen
Checks, die ihren Rechenweg zeigen
Kein Blackbox-Score. Die Checks zu Zugriff und agentischen Standards tragen den Request, den wir gesendet haben, und die Response, die wir bekommen haben – mit Status, Headern und Body-Vorschau. So siehst du genau, warum etwas bestanden oder gescheitert ist, und reichst den Beleg direkt an dein Entwicklungsteam weiter.
Ehrlich gebaut
Wir raten nie
Wenn eine Seite nur mit JavaScript funktioniert und wir ein Signal nicht verifizieren können, schreiben wir „nicht verifizierbar“, statt es als Fehler zu werten. Verifiziert-abwesend, blockiert und nicht-prüfbar sind drei verschiedene Zustände, jeder mit unserer Konfidenz gekennzeichnet. Ein Score, dem du trauen kannst, schlägt einen Score, der dir schmeichelt.
JS-Parität
Inhalte, die ohne JS überleben
Die meisten KI-Crawler führen kein JavaScript aus. Wir rendern deine Seite mit und ohne JS in einem Headless-Browser und markieren alle Inhalte, Navigationselemente oder Links, die es erst nach dem JavaScript-Rendering gibt. Das ist einer der häufigsten Gründe, warum eine völlig gute Seite für Agenten unsichtbar bleibt.
Standard-Tiefe
Alle agentischen Standards
Markdown-Aushandlung mit Vary, llms.txt validiert gegen die Spezifikation von llmstxt.org, Content-Signal-Kohärenz, RFC 8288 Link-Header, strukturierte JSON-Fehler, erreichbares og:image, dazu ein Panel aufkommender Protokolle (MCP-Cards, A2A, OpenAPI, x402) – erkannt, nie zum Aufpolstern deines Scores genutzt.
Bezug zum Ergebnis
Readiness neben echten Zitaten
Erreichbar zu sein ist das Mittel. Zitiert zu werden ist das Ziel. Weil GEO Toolbox deine KI-Sichtbarkeit auch über acht Engines hinweg verfolgt, liegen Readiness und Zitate in einem Konto – eine Korrektur, die du ausspielst, hat also eine Wirkung, die du beobachten kannst. Diese Verbindung kann ein einzelner Scanner nicht herstellen.
Live abgefragt über die Engines, die deine Kunden wirklich nutzen
- ChatGPT
- Perplexity
- Gemini
- Claude
- Google AI Overviews
- Google AI Mode
- Bing Copilot
- Grok
Jeder Check läuft live gegen deine echte URL: ein Headless-Chromium-Render und ein Live-Crawl gegen 34 KI-Crawler-User-Agents, keine zwischengespeicherte Vermutung.
FAQ
Häufige Fragen
- 01Was ist Agent Readiness?Agent Readiness misst, ob KI-Agenten und Crawler deine Website erreichen, rendern und verstehen können. Während ein Seiten-Audit fragt, ob eine einzelne Seite zitierfähig ist, fragt Agent Readiness, ob ein autonomer Agent die Website überhaupt abrufen, sehen und auswerten kann. Es laufen Live-Checks über fünf Säulen (Zugriff, Auffinden, Rendern, Struktur und Zitat): Wir rufen deine Website als die echten KI-Crawler ab, rendern sie in einem Headless-Browser und validieren die agentischen Standards – und ordnen das Ergebnis dann einem Agent-Readiness-Level zu.
- 02Hilft mir das, in ChatGPT und Perplexity zu ranken?Es räumt die Blockaden weg, die dich draußen halten. Wenn GPTBot oder PerplexityBot dich nicht crawlen können oder dein Inhalt erst nach dem JavaScript existiert, können diese Engines dich nicht zitieren – egal wie gut die Seite ist. Agent Readiness macht den Zugriffspfad frei; der Content Analyzer optimiert danach die Seite selbst.
- 03Worin unterscheidet es sich vom Content Analyzer?Der Content Analyzer bewertet eine einzelne Seite von A bis F nach ihrer Zitierbarkeit. Agent Readiness arbeitet ab einer Root-URL auf Website- und Infrastruktur-Ebene: ob die großen Crawler-Identitäten wirklich hereinkommen (sechs live abgerufen, dazu deine robots.txt-Regeln gegen 34 KI-Crawler geprüft), was ein Headless-Agent tatsächlich sieht, JS-Rendering-Parität und Standards wie Sitemaps, Link-Header und Markdown-Aushandlung. Nutze Agent Readiness, um den Zugriffspfad frei zu machen, und danach den Content Analyzer, um die Seite zu optimieren, sobald Agenten sie erreichen.
- 04Ruft ihr meine Website wirklich als GPTBot ab oder lest ihr nur die robots.txt?Wir rufen sie wirklich ab. Agent Readiness sendet Live-Requests mit den echten Crawler-User-Agents (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, CCBot) direkt durch deine WAF und berichtet, was jeder einzelne wirklich bekommt. Das erwischt Firewall- und Edge-Regeln, die ein Blick in die robots.txt nicht sehen kann. Zu jedem dieser Zugriffs-Checks gehören der erfasste Request und die Response, damit du es selbst nachprüfen kannst.
- 05Was ist ein Agent-Readiness-Level?Ein Stufenmodell neben deinem Score von 0–100, damit du Fortschritt sehen kannst. L0, wenn Crawler blockiert sind, dann L1 Crawlable (Bots erreichen dich), L2 Bot-Aware (du deklarierst Regeln pro Bot) und L3 Agent-Readable (Inhalte rendern ohne JS und du lieferst Markdown oder eine gültige llms.txt). Eine vierte Stufe, Agent-Operable (Live-Fähigkeiten wie MCP oder APIs), wird im erweiterten Panel erkannt, aber noch nicht bewertet. Jeder Scan nennt dir, was dein Level als Nächstes hebt.
- 06Welche KI-Crawler prüft es?Wir prüfen deine robots.txt-Regeln gegen 34 KI-Crawler-User-Agents, darunter GPTBot und OAI-SearchBot (OpenAI), ClaudeBot, PerplexityBot, Google-Extended, CCBot, Amazonbot, Bytespider, Applebot und meta-externalagent. Und wir senden Live-Requests als sechs der großen (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, CCBot), um zu bestätigen, was wirklich durch deine WAF kommt. Für jeden gilt: erlaubt oder blockiert – und woher die Blockade stammt, ob robots.txt, ein Response-Header oder eine Firewall-Regel.
- 07Prüft es das JavaScript-Rendering?Ja. Wir rufen die Seite mit und ohne JavaScript-Ausführung ab und vergleichen beide. Inhalte, Navigation oder Links, die erst nach dem JavaScript-Rendering erscheinen, werden markiert, weil die meisten KI-Crawler kein JS ausführen. Außerdem erkennen wir das JS-Framework und alle Formular-Actions.
- 08Kann ich den Report exportieren?Ja. Jede Prüfung erzeugt einen Report, den du als PDF herunterladen kannst: die Matrix über 34 Crawler, die Above-the-Fold-Aufnahme, den JS-Paritäts-Vergleich, vollständige Hop-Transkripte und priorisierte Korrekturen. Sauber genug, um ihn an dein Entwicklungsteam zu geben, detailliert genug zum Debuggen.
Scanne deine Website für KI-Agenten.
Eine Root-URL genügt. Ergebnisse in Minuten.