G
GEO Toolbox

AI-crawlers & Agent Readiness

Zie je site zoals een AI-agent hem ziet.

Eén vergeten regel in robots.txt, een firewallregel of een pagina die alleen met JS werkt, en GPTBot, ClaudeBot en PerplexityBot kunnen je niet meer lezen — zonder dat iemand het merkt. Dus citeert AI je nooit, en zie jij nooit een foutmelding. Agent Readiness haalt je site op als die echte crawlers, dwars door je live WAF heen, rendert hem zonder JavaScript en toont het bewijs in request en response achter elke bevinding.

Eén root-URL is genoeg · resultaat in een paar minuten

Agent Readiness-rapport met een totaalscore van 0–100 en een letterscore, een uitsplitsing naar blokkades, kritieke problemen, quick wins en geslaagde checks, plus een weergave ‘Hoe AI-agents je site ervaren’ die productontdekking, navigatie, taakvoltooiing en formulierafhandeling scoort.
Een echt readinessrapport: één totaalscore en cijfer, een uitsplitsing naar blokkades / kritiek / quick wins / geslaagd, en hoe goed een agent elke taak op je site kan uitvoeren.

De blinde vlek

Blokkeer GPTBot in een robots.txt-regel die iemand maanden geleden toevoegde, of zet een pagina live waarvan de content pas verschijnt nadat JavaScript draait, en AI-engines kunnen je simpelweg niet lezen: geen citaties, geen aanbevelingen, geen verwijsverkeer uit AI. Er is geen fout om op te vangen; je duikt gewoon nooit op in het antwoord.

Agent Readiness scant het hele toegangspad, van de live crawlertoegangsmatrix via de headless render tot JS-pariteit, zodat je de blokkades vindt voordat ze je stilletjes citaties kosten.

Van root-URL naar readinessrapport in drie stappen

  1. 01Geef

    Eén root-URL

    Agent Readiness draait checks op infrastructuurniveau en begint daarom bij je hoofddomein, niet bij één pagina. Geen installatie, geen code.

  2. 02Test

    Als de echte AI-crawlers

    We vragen je site op als GPTBot, ClaudeBot, PerplexityBot en meer, dwars door je live WAF heen, renderen hem in een headless browser mét en zonder JavaScript en valideren de standaarden waar agents op vertrouwen.

  3. 03Fix

    Een scorerapport + je niveau

    Een score van 0–100, een readinessniveau en elke blokkade met de bronregel en een eenregelige fix. Bevindingen over toegang en standaarden bevatten het exacte request en de response die we vastlegden.

Wat we checken

Bereiken, renderen, lezen.

Een agent moet langs je robots en firewall komen, de pagina renderen zonder echte browser en er betekenis uit halen. Elk signaal krijgt een score met een betrouwbaarheidslabel, en wat we niet kunnen verifiëren wordt gemarkeerd, telt nooit in je nadeel.

ToegangPer bot opgehaald

Komen de echte crawlers binnen

  • Live ophalen als GPTBot, ClaudeBot, PerplexityBot & meer
  • robots.txt vs. 34 AI-crawleragents
  • Content-Signal-coherentie met je botregels
  • WAF-/firewallblokkades (per crawleridentiteit)
  • Indexeerbaarheid (noindex / nosnippet)
Vinden + renderenHTTP + headless-render

Kunnen ze het vinden en lezen

  • JS-renderpariteit (wat zonder JS overblijft)
  • Above-the-fold-opname van wat een agent ziet
  • Sitemap, RFC 8288 Link-headers, feeds
  • Markdown-onderhandeling (Accept: text/markdown + Vary)
  • llms.txt, gevalideerd tegen de llmstxt.org-spec
Structuur + citatieSchema, entiteiten, helderheid

Kunnen ze het vertrouwen en citeren

  • schema.org @type + entiteitsvalidatie
  • Bereikbare social / og:image
  • Gestructureerde (JSON) foutresponses
  • BLUF-helderheid + beantwoordbaarheid
  • Actualiteit & E-E-A-T-vertrouwenssignalen

Jouw niveau

Eén getal, en de trede waarop je staat.

Naast de score van 0–100 plaatst elke scan je site op een readinessniveau, vandaag L1 tot en met L3, met L4-signalen die in het geavanceerde paneel gedetecteerd worden, zodat je altijd weet wat je hierna aanpakt.

  1. L1

    Crawlable

    AI-crawlers bereiken je pagina’s, zonder WAF- of robotsmuur ertussen.

  2. L2

    Bot-Aware

    Je legt regels per bot vast in robots of Content-Signals, zodat crawlers weten wat welkom is.

  3. L3

    Agent-Readable

    Content rendert zonder JavaScript, en je serveert markdown of een geldige llms.txt die een agent kan overnemen.

  4. L4

    Agent-Operable

    Gedetecteerd, nog niet gescoord

    Live capability-interfaces zoals MCP en API’s. We detecteren die in het geavanceerde paneel; het is de hoogste trede, en de meeste sites zijn er nog niet.

Handelen, niet alleen kijken

De meeste AI-zichtbaarheidstools laten je het gat zien en stoppen daar. GEO Toolbox laat je het gat zien — en geeft je meteen de fix.

Agent Readiness geeft je niet alleen een score. Als een toegangs- of standaardencheck faalt, krijg je de bronregel erbij (de robots.txt-regel, de X-Robots-Tag-header, de firewallregel) plus de eenregelige fix.

Zie je dat ClaudeBot geblokkeerd is? Het rapport toont precies de robots.txt-regel die dat doet en wat je moet wijzigen, zodat je hem deblokkeert en de volgende scan hem op toegestaan zet.

Beoordeel daarna de pagina zelf met Content Analyzer

Wat het anders maakt

Het toegangspad, niet alleen de pagina.

Echte toegang

Opgehaald als de echte crawlers

Andere tools lezen je robots.txt uit. Wij vragen je site echt op als GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot en CCBot, dwars door je live WAF heen, en rapporteren wat elk ervan werkelijk terugkrijgt. Een firewallregel die ClaudeBot stilletjes laat vallen, komt hier boven water; een blik op robots.txt ziet dat nooit.

Bewijs op papier

Checks met het bewijs erbij

Geen black-boxscore. De checks op toegang en agentische standaarden bevatten het request dat we stuurden en de response die we kregen, met status, headers en een preview van de body, zodat je precies ziet waarom een check slaagde of faalde — en het bewijs direct aan een developer geeft.

Eerlijk van opzet

We gokken nooit

Als een pagina alleen met JavaScript werkt en we een signaal niet kunnen verifiëren, zeggen we ‘niet te verifiëren’ in plaats van het als fout te rekenen. Bevestigd afwezig, geblokkeerd en niet-controleerbaar zijn drie verschillende toestanden, elk met een eigen betrouwbaarheidslabel. Een score die je kunt vertrouwen is meer waard dan een score die je vleit.

JS-pariteit

Content die zonder JS overleeft

De meeste AI-crawlers voeren geen JavaScript uit. We renderen je pagina mét en zonder JS in een headless browser en markeren alle content, navigatie of links die pas na hydratie bestaan. Het is een van de belangrijkste redenen dat een prima pagina onzichtbaar blijft voor agents.

Alle standaarden

De hele agentische stack

Markdown-onderhandeling met Vary, llms.txt gevalideerd tegen de llmstxt.org-spec, Content-Signal-coherentie, RFC 8288 Link-headers, gestructureerde JSON-fouten, bereikbare og:image, plus een paneel met opkomende protocollen (MCP-cards, A2A, OpenAPI, x402) — gedetecteerd, nooit gebruikt om je score op te pompen.

Gekoppeld aan het resultaat

Readiness naast echte citaties

Bereikbaar zijn is het middel. Geciteerd worden is het doel. Omdat GEO Toolbox ook je zichtbaarheid over acht AI-engines volgt, zitten readiness en citaties in één account, zodat een fix die je uitrolt een resultaat oplevert dat je kunt volgen. Die verbinding kan een losse scanner niet leggen.

Live bevraagd op de engines die je klanten echt gebruiken

  • ChatGPT
  • Perplexity
  • Gemini
  • Claude
  • Google AI Overviews
  • Google AI Mode
  • Bing Copilot
  • Grok

Elke check draait live tegen je echte URL: een headless Chromium-render en een live crawl tegen 34 user agents van AI-crawlers, geen gok uit de cache.

FAQ

Veelgestelde vragen

  • 01Wat is Agent Readiness?
    Agent Readiness meet of AI-agents en crawlers je site kunnen bereiken, renderen en begrijpen. Waar een audit op paginaniveau vraagt of één pagina citeerbaar is, vraagt Agent Readiness of een autonome agent de site überhaupt kan ophalen, zien en uitlezen. Het draait live checks over vijf pijlers (toegang, vindbaarheid, rendering, structuur en citatie): je site wordt opgehaald als de echte AI-crawlers, gerenderd in een headless browser en getoetst aan de agentische standaarden, waarna het resultaat op een Agent-Readiness Level wordt gezet.
  • 02Helpt dit me om in ChatGPT en Perplexity te verschijnen?
    Het haalt de blokkades weg die je eruit houden. Als GPTBot of PerplexityBot je niet kan crawlen, of je content pas bestaat nadat JavaScript draait, kunnen die engines je niet citeren, hoe goed de pagina ook is. Agent Readiness maakt dat toegangspad vrij; Content Analyzer optimaliseert daarna de pagina zelf.
  • 03Wat is het verschil met Content Analyzer?
    Content Analyzer beoordeelt één pagina van A tot F op citeerbaarheid. Agent Readiness werkt op site- en infrastructuurniveau vanaf een root-URL: of de grote crawleridentiteiten er echt in komen (zes worden live opgehaald, plus je robots.txt-regels getoetst aan 34 AI-crawlers), wat een headless agent daadwerkelijk ziet, JS-renderpariteit, en standaarden zoals sitemaps, Link-headers en markdown-onderhandeling. Gebruik Agent Readiness om het toegangspad vrij te maken, en daarna Content Analyzer om de pagina te optimaliseren zodra agents er kunnen komen.
  • 04Halen jullie mijn site echt op als GPTBot, of lezen jullie alleen robots.txt?
    We halen hem echt op. Agent Readiness stuurt live requests met de echte user agents van de crawlers (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, CCBot) dwars door je WAF heen, en rapporteert wat elk ervan werkelijk ontvangt. Zo kom je firewall- en edgeregels op het spoor die je in robots.txt niet ziet. Bij elk van deze toegangschecks krijg je het request en de response die we vastlegden, zodat je het zelf kunt verifiëren.
  • 05Wat is een Agent-Readiness Level?
    Een niveaumodel naast je score van 0–100, zodat je voortgang ziet. L0 als crawlers geblokkeerd zijn, dan L1 Crawlable (bots kunnen je bereiken), L2 Bot-Aware (je legt regels per bot vast) en L3 Agent-Readable (content rendert zonder JS en je serveert markdown of een geldige llms.txt). Een vierde niveau, Agent-Operable (live capability-interfaces zoals MCP of API’s), wordt in het geavanceerde paneel gedetecteerd maar nog niet gescoord. Elke scan benoemt de eerstvolgende stap die je niveau verhoogt.
  • 06Welke AI-crawlers checkt hij?
    We toetsen je robots.txt-regels aan 34 user agents van AI-crawlers, waaronder GPTBot en OAI-SearchBot (OpenAI), ClaudeBot, PerplexityBot, Google-Extended, CCBot, Amazonbot, Bytespider, Applebot en meta-externalagent, en we sturen live requests als zes van de grootste (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, CCBot) om te bevestigen wat er echt door je WAF komt. Per crawler: toegestaan of geblokkeerd, en de bron van een eventuele blokkade — robots.txt, een responseheader of een firewallregel.
  • 07Checkt hij ook JavaScript-rendering?
    Ja. We halen de pagina op mét en zonder JavaScript-uitvoering en vergelijken de twee. Content, navigatie of links die pas na hydratie verschijnen worden gemarkeerd, want de meeste AI-crawlers draaien geen JS. We detecteren ook het JS-framework en eventuele formulieracties.
  • 08Kan ik het rapport exporteren?
    Ja. Elke test levert een rapport op dat je als PDF kunt downloaden: de 34-crawlermatrix, de above-the-fold-opname, de JS-pariteitsdiff, volledige hoptranscripten en fixes op prioriteit. Netjes genoeg om aan een developer te geven, gedetailleerd genoeg om mee te debuggen.

Scan je site voor AI-agents.

Eén root-URL is genoeg. Resultaat in een paar minuten.

Scan starten