AI-bot check
Vul een URL in en we halen die pagina op met de user-agent van veertien AI-crawlers. Je ziet per bot of hij binnenkomt, of robots.txt hem tegenhoudt en of je firewall hem stiekem blokkeert. En, belangrijker: of er zonder JavaScript nog iets te lezen valt.
We doen zestien echte requests naar de opgegeven pagina. Check alleen sites waar je zelf over gaat.
Bezig met ophalen. Dit duurt tot ongeveer tien seconden.
Komt de bot binnen?
Per crawler het oordeel uit robots.txt naast de statuscode die de server werkelijk teruggaf. Wijken die twee af, dan zit de blokkade ergens anders dan waar je hem zoekt.
Eerlijk erbij: we vuren deze requests af vanaf het netwerk van Cloudflare, niet vanaf de IP-adressen van OpenAI of Anthropic zelf. Blokkades op user-agent, verreweg de meeste, zie je hier gewoon terug. Weegt de botbescherming van een site ook het IP-adres mee, dan kan een echte crawler een ander antwoord krijgen dan wij.
Ziet de bot iets?
AI-crawlers voeren geen JavaScript uit. Ze lezen de HTML zoals die van de server komt. Dit is wat daarin staat.
Wat je aanbiedt
Wil je weten of je ook echt genoemd wordt?
Toegang is voorwaarde nummer een, niet het eindpunt. De GEO Audit meet of je merk daadwerkelijk opduikt in ChatGPT, Perplexity en AI Overviews.
Waarom een groen vinkje niet genoeg is
De meeste bot-checkers stoppen bij de statuscode. Krijgt GPTBot een 200 terug, dan is het goed. Alleen zegt die 200 niets over wat er in die response zit.
Draait je site op React, Vue of Angular en wordt de content pas door JavaScript ingeladen, dan krijgt de crawler een vrijwel lege pagina met een 200-status. Netjes toegelaten, niets te lezen. Daarom staat de leesbaarheidscheck hier naast de toegangscheck.
Google-Extended blokkeert geen AI Overviews
Dit misverstand komen we vaak tegen. Google-Extended en Applebot-Extended zijn geen crawlers maar schakelaars in robots.txt: ze regelen of je content gebruikt mag worden voor het trainen van Gemini en Apple Intelligence.
AI Overviews in de zoekresultaten draaien gewoon op Googlebot. Wil je daaruit blijven, dan is dat een andere knop, met gevolgen voor je gewone rankings. Daarom tonen we deze twee apart, zonder verzonnen statuscode.
De crawlers die we checken
AI-zoekindex
Deze bots bouwen de index waaruit AI-antwoorden hun bronnen halen. Blokkeer je deze, dan kun je niet als bron genoemd worden. Dit is de groep die er voor zichtbaarheid het meest toe doet.
- OAI-SearchBot OpenAI
Bouwt de zoekindex van ChatGPT. Hier kom je in beeld als bron met bronvermelding. - PerplexityBot Perplexity
Bouwt de zoekindex van Perplexity. - Claude-SearchBot Anthropic
Bouwt de zoekindex die Claude gebruikt om bronnen bij antwoorden te zoeken.
Live opgehaald
Deze bots halen een pagina pas op het moment zelf op, omdat een gebruiker ernaar vraagt of een link deelt. Blokkeren betekent dat de assistent jouw pagina niet kan samenvatten terwijl iemand er expliciet om vroeg.
- ChatGPT-User OpenAI
Haalt je pagina op wanneer een ChatGPT-gebruiker er op dat moment naar vraagt. - Claude-User Anthropic
Haalt je pagina op wanneer een Claude-gebruiker er op dat moment naar vraagt. - Perplexity-User Perplexity
Haalt je pagina op wanneer een Perplexity-gebruiker een link opvraagt.
Trainingsdata
Deze bots halen content op om taalmodellen mee te trainen. Blokkeren betekent dat je content niet in het model belandt, maar het zegt niets over of je geciteerd wordt in AI-antwoorden.
- GPTBot OpenAI
Verzamelt content voor het trainen van de GPT-modellen. - ClaudeBot Anthropic
Verzamelt content voor het trainen van de Claude-modellen. - Google-Extended Google
Geen echte crawler maar een robots.txt-schakelaar: hij bepaalt of Google jouw content mag gebruiken voor Gemini-training. Let op, dit blokkeert AI Overviews niet, want die draaien op de gewone Googlebot. - Applebot-Extended Apple
Ook een robots.txt-schakelaar, niet een crawler. Regelt of Apple je content voor Apple Intelligence mag gebruiken. - meta-externalagent Meta
Haalt content op voor Meta AI en de modellen van Meta. - Bytespider ByteDance
De crawler van ByteDance, bekend van agressief crawlgedrag.
Archief en datasets
Open datasets waar veel modellen en tools op teruggrijpen. Minder direct zichtbaar, maar wel een bron die lang meegaat.
- CCBot Common Crawl
De open dataset waar veel AI-partijen op teruggrijpen. Blokkeren werkt jaren door. - Amazonbot Amazon
Verzamelt content voor Alexa en de AI-diensten van Amazon.