Robots.txt voor AI-crawlers: welke moet je toestaan en hoe?

Dit is het meest onderschatte detail van AI-zichtbaarheid: het bestandje robots.txt op je website. Als deze AI-crawlers niet expliciet toelaat, bestaat je site letterlijk niet voor ChatGPT en zijn collega's.

Wat is robots.txt ook alweer?

robots.txt is een klein tekstbestandje dat op elke website staat op jouwdomein.nl/robots.txt. Het is een soort bordje op de voordeur: "welke crawlers mogen binnen, welke niet."

Zoekmachines (en AI-crawlers) respecteren deze regels vrijwillig. Ze lezen robots.txt vóór ze verder gaan.

Waarom is dit nu belangrijk?

Veel websites — vooral oudere of gebouwd met standaard CMS-templates — hebben een default robots.txt die alleen Google en Bing kent. AI-crawlers worden dan uitgesloten zonder dat iemand het weet.

Het gevolg: jouw content wordt door ChatGPT en Claude niet meegenomen, en je bent onzichtbaar in AI-antwoorden.

Welke AI-crawlers bestaan er?

Dit is de volledige (en steeds groeiende) lijst van belangrijke AI-crawlers anno 2026:

Van OpenAI (ChatGPT)

Van Anthropic (Claude)

Van Perplexity

Van Google (AI Overviews)

Andere belangrijke

De ideale robots.txt voor AI-zichtbaarheid

Als je wilt dat alle AI-modellen je vinden, zet dit in je robots.txt:

# Expliciet toestaan voor AI-crawlers
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Alle andere crawlers
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://jouwdomein.nl/sitemap.xml

Pas de paden onderin aan je eigen site aan (wat mag niet gecrawld worden — denk aan admin-pagina's of privé data).

Hoe plaats ik dit?

Het hangt van je website-platform af:

WordPress: gebruik een plugin zoals Yoast SEO of RankMath, of plaats het bestand via FTP in de root van je site.

Shopify: ga naar Online Store → Themes → Edit code, zoek het robots.txt.liquid bestand en pas het aan.

Webflow / Framer / Wix: zoek naar "robots.txt" in de SEO-instellingen.

Handmatige website / Next.js: plaats een robots.txt bestand in je public/ folder, of maak een app/robots.ts bestand.

Wil je juist BLOKKEREN?

Sommige websites willen niet dat AI hun content gebruikt voor training. Dat is een legitieme keuze. Dit blokkeert expliciet:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

Maar let op: als je blokkeert, word je ook nooit genoemd in AI-antwoorden. Voor de meeste bedrijven is toestaan de betere keuze.

Testen of het werkt

Check je eigen robots.txt door in je browser jouwdomein.nl/robots.txt te openen. Je ziet dan direct het bestand.

Om te testen of AI jou echt oppikt: doe een gratis AI-zichtbaarheid scan en zie binnen 15 seconden of je genoemd wordt door ChatGPT, Claude en Perplexity.

Veelgemaakte fouten

1. Disallow: / per ongeluk overal — een slechte copy-paste kan je hele site onzichtbaar maken. Check altijd het eindresultaat.
2. Vergeten dat Googlebot niet hetzelfde is als Google-Extended. Googlebot = zoekresultaten, Google-Extended = AI-features. Aparte opt-in.
3. AI-crawlers in noindex meta-tag blokkeren. Dat is een andere mechanisme (voor zoekmachines) en werkt anders dan robots.txt voor AI.
4. Geen sitemap meegeven. Voeg Sitemap: https://... toe onderaan — AI-crawlers gebruiken dit actief.

Samenvatting

• robots.txt is je voordeur: zet hem open voor AI
• Voeg minimaal GPTBot, ClaudeBot, PerplexityBot, Google-Extended en CCBot toe
• Test altijd het resultaat
• Combineer met andere GEO-acties — robots.txt alleen is niet genoeg

---

Meer lezen:

• Hoe word ik gevonden in ChatGPT? Complete gids
• Wat is GEO? Generative Engine Optimization uitgelegd

Wil je checken of jouw robots.txt goed staat én of AI je daadwerkelijk oppikt? Start een gratis scan — we testen het direct voor je.