Naar de inhoud
Techniek voor AI-zoekmachines

llms.txt: wat het is en waarom je robots.txt meer uitmaakt

  • Bijgewerkt
  • 7 minuten lezen
  • 16 bronnen
Het korte antwoord

llms.txt is een voorstel uit september 2024 voor een tekstbestand dat taalmodellen een korte gids naar je belangrijkste pagina's geeft. Google Search negeert het bestand, en OpenAI, Anthropic en Perplexity hebben niet officieel gezegd dat ze het van andere sites lezen (stand november 2026). Wat wel telt voor AI-tools is je robots.txt: daarin bepaal je per bot of de zoekfuncties van ChatGPT, Claude en Perplexity je site mogen ophalen.

3 september 2024Jeremy Howard publiceert het voorstel voor llms.txt1
Geen effectVolgens Google helpt en schaadt llms.txt je zichtbaarheid in Google Search niet, want Search negeert het2
24 uurZo lang kan het duren voordat OpenAI en Perplexity een wijziging in je robots.txt oppikken34
Op deze pagina9 onderdelen

Je leest steeds vaker dat je een llms.txt nodig hebt om in ChatGPT te komen. Hier lees je wat het bestand is, wat Google en de AI-bedrijven er zelf over zeggen en welke regels in je robots.txt wel verschil maken.

Wat is llms.txt?

llms.txt is een voorstel van Jeremy Howard, gepubliceerd op 3 september 2024 op llmstxt.org. Het idee: je zet een Markdown-bestand op je site met een korte gids naar je belangrijkste content. Markdown is platte tekst met simpele tekens voor koppen en lijsten. Een taalmodel (LLM), de techniek achter tools als ChatGPT, leest zo'n bestand snel.1

Het is geen officiële standaard. De site noemt het zelf een voorstel en vraagt om reacties. Het bestand staat op /llms.txt in de hoofdmap van je site, maar een submap zoals /docs/llms.txt mag ook. Dit zet je erin:1

  • Een kop met de naam van je bedrijf of project. Dit is het enige verplichte deel.
  • Een korte samenvatting als citaatblok (een regel die begint met >).
  • Eventueel wat uitleg in gewone tekst, zonder koppen.
  • Kopjes met lijsten van links, elk met een korte toelichting.
  • Een kopje Optional voor links die een AI-tool mag overslaan.1
Voorbeeld van een llms.txt voor een installateur (verzonnen bedrijf)
# Installatiebedrijf Voorbeeld

> Installateur van warmtepompen en zonnepanelen in de regio Utrecht, met eigen monteurs.

Op deze site vind je onze diensten, prijzen, werkgebied en contactgegevens.

## Diensten

- [Warmtepomp laten installeren](https://www.voorbeeld.nl/warmtepomp): soorten, werkwijze en prijzen
- [Zonnepanelen](https://www.voorbeeld.nl/zonnepanelen): advies, installatie en onderhoud

## Over ons

- [Werkgebied](https://www.voorbeeld.nl/werkgebied): de gemeenten waar we werken
- [Contact](https://www.voorbeeld.nl/contact): telefoon, mail en openingstijden

## Optional

- [Blog](https://www.voorbeeld.nl/blog): artikelen over energie besparen

Wat zegt Google over llms.txt?

Google is er duidelijk over. In zijn gids voor AI-functies in Search schrijft Google dat Search llms.txt negeert. Het bestand helpt en schaadt je zichtbaarheid in Google dus niet. Google zet onnodige AI-tekstbestanden, zoals llms.txt, zelfs in het rijtje dingen die je kunt laten liggen.2

“Doing so will neither harm nor help your site's visibility or rankings in Google Search, as Google Search ignores them.”

Ook voor AI Overviews en AI Mode hoef je volgens Google geen speciale AI-bestanden te maken. Wil je llms.txt toch maken voor andere diensten, dan vindt Google dat prima. In juni 2025 schreef John Mueller van Google al dat geen enkel AI-systeem llms.txt gebruikte. Dat was een uitspraak, geen meting.256

Lezen ChatGPT, Claude en Perplexity je llms.txt?

Dat weet niemand zeker. We vonden geen officiële verklaring van OpenAI, Anthropic of Perplexity dat zij de llms.txt van andere websites lezen (stand november 2026). Hun uitleg voor website-eigenaren gaat over robots.txt, niet over llms.txt.347

Wat doet de llms.txt-check in Lighthouse?

Lighthouse is een gratis testtool van Google Chrome voor webpagina's. Sinds versie 13.3 (mei 2026) heeft het een categorie Agentic Browsing. Die test of je site werkt voor AI-agents: programma's die voor iemand een website gebruiken. Volgens DebugBear is de categorie nog in ontwikkeling.910

Eén check gaat over llms.txt. Geeft je server een fout bij het ophalen, dan meldt Lighthouse dat. Heb je geen llms.txt, dan is de check niet van toepassing. Het bestand is volgens Chrome voorlopig optioneel.11

Welke AI-crawlers regel je in robots.txt?

Een crawler of bot is een programma dat websites ophaalt. In robots.txt, in de hoofdmap van je site, vertel je crawlers welke adressen ze mogen bezoeken. Nette crawlers houden zich daaraan.1213

AI-bedrijven hebben aparte bots voor aparte taken: modellen trainen, een zoekindex bouwen en een pagina ophalen als een gebruiker iets vraagt. Blokkeer je de ene, dan blokkeer je de andere niet.347

AI-crawlers en wat blokkeren doet (volgens de bedrijven zelf, stand november 2026)3471415
Naam in robots.txtVanWaarvoorAls je hem blokkeert
OAI-SearchBotOpenAIZoekfunctie van ChatGPTJe verschijnt niet meer in zoekantwoorden van ChatGPT, hooguit als navigatielink
GPTBotOpenAITraining van modellenJe content wordt niet gebruikt voor training. Voor zoekantwoorden telt OAI-SearchBot
ChatGPT-UserOpenAIPagina ophalen bij acties van een gebruiker in ChatGPTrobots.txt geldt hier mogelijk niet. Telt niet mee voor zoekantwoorden
PerplexityBotPerplexityZoekresultaten van Perplexity, niet voor trainingPerplexity raadt aan hem toe te staan als je in de zoekresultaten wilt verschijnen
Perplexity-UserPerplexityPagina ophalen als een gebruiker een vraag steltNegeert robots.txt in de regel
ClaudeBotAnthropicContent verzamelen voor trainingJe toekomstige content blijft buiten de trainingsdata
Claude-UserAnthropicPagina ophalen als iemand Claude iets vraagtClaude kan je content dan niet ophalen bij een vraag
Claude-SearchBotAnthropicContent indexeren voor de zoekresultaten van ClaudeKan je zichtbaarheid en juistheid in zoekantwoorden van Claude verminderen
Google-ExtendedGoogleGeen eigen bot; regelt training van Gemini-modellen en grounding in Gemini Apps en Vertex AIGeen invloed op opname of ranking in Google Search
Applebot-ExtendedAppleGeen eigen bot; regelt of Apple content van Applebot gebruikt om zijn modellen te trainenJe pagina's kunnen nog steeds in zoekresultaten van Apple verschijnen

Hoe ziet een robots.txt voor AI-crawlers eruit?

Dit voorbeeld laat de zoekbots en de ophaalbots toe. Training door OpenAI, Anthropic en Apple staat uit. Of je training toestaat, is je eigen keuze. Google-Extended staat er bewust niet in, omdat het ook grounding in Gemini raakt.3471415

Voorbeeld van robots.txt (pas /winkelwagen/ en de sitemap aan naar je eigen site)
# Zoekbots en ophalen op verzoek van een gebruiker: toestaan
# (ChatGPT-User en Perplexity-User volgen robots.txt mogelijk niet)
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /winkelwagen/

# Training van AI-modellen: in dit voorbeeld uitgezet (eigen keuze)
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Applebot-Extended
Disallow: /

# Alle andere bots, waaronder Googlebot en Applebot
User-agent: *
Allow: /
Disallow: /winkelwagen/

Sitemap: https://www.voorbeeld.nl/sitemap.xml
  • Een bot volgt alleen zijn eigen groep. Staat zijn naam in een groep, dan negeert hij de groep met *. Herhaal je Disallow-regels daarom in elke groep.
  • Meerdere namen per groep mag. Zet de regels User-agent dan onder elkaar boven dezelfde regels.
  • Alles na # is uitleg. Crawlers slaan dat over.
  • De regel Sitemap geldt los van de groepen.13
  1. Open je huidige robots.txt

    Ga in je browser naar jouwdomein.nl/robots.txt. Zie je niets, dan heb je er nog geen.

  2. Zoek de AI-bots

    Zoek op de namen uit de tabel. Staat er een zoekbot met Disallow: /? Dan sluit je jezelf uit bij die AI-tool.

  3. Kies per groep

    Laat zoekbots en ophaalbots toe als je in AI-antwoorden wilt verschijnen. Over training beslis je zelf.

  4. Check je firewall

    Gebruik je een firewall voor je website? Dan moet je de bots van Perplexity daar volgens Perplexity mogelijk ook toestaan.

  5. Wacht een dag

    OpenAI past wijzigingen na ongeveer 24 uur toe. Bij Perplexity kan het tot 24 uur duren.

  6. Voeg eventueel llms.txt toe

    Het kost weinig tijd en kan geen kwaad in Google. Verwacht er alleen geen resultaat van.234

Moet je een llms.txt maken?

Ons advies: het mag, maar verwacht er niets van. Een llms.txt is snel gemaakt en volgens Google schaadt het niet. Maar niemand heeft aangetoond dat het je vaker in ChatGPT, Claude of Perplexity brengt. Maak je er een, houd de links dan actueel. Wat AI-tools wel helpt om je te noemen, lees je bij wat GEO is.2

Wat wel verschil maakt

  • Zoekbots van AI-tools toelaten in robots.txt en je firewall
  • Pagina's die crawlers kunnen ophalen en lezen
  • Nuttige, eigen content die meer biedt dan algemene kennis
  • Een actueel Google Bedrijfsprofiel voor lokale vragen

Wat je van llms.txt niet moet verwachten

  • Hogere posities in Google
  • Een plek in AI Overviews of AI Mode
  • Bewezen meer noemingen in ChatGPT, Claude of Perplexity
  • Bescherming tegen training: daarvoor gebruik je robots.txt

Dit volgt uit het advies van Google: zijn AI-modellen gebruiken openbare content die te crawlen is. Ook een Google Bedrijfsprofiel kan je volgens Google zichtbaar maken in AI-antwoorden.2

Wil je weten of AI-tools je bedrijf noemen?

Een bestand toevoegen is zo gedaan. Of het iets oplevert, zie je pas als je meet. Gaizen meet elke week of ChatGPT, Claude, Gemini, Perplexity en Google AI Mode je bedrijf noemen. Vraag je gratis AI-scan aan voor een eerste meting.

Vraag je gratis AI-scan aan

Veelgestelde vragen

Heb ik een llms.txt nodig om in ChatGPT te komen?

Nee. OpenAI noemt llms.txt niet als manier om in ChatGPT te verschijnen. Voor de zoekfunctie van ChatGPT telt OAI-SearchBot: blokkeer je die, dan verschijn je niet meer in de zoekantwoorden.3

Kan een llms.txt kwaad?

Volgens Google niet: Google Search negeert het bestand. Het enige risico is een verouderd bestand met links die niet meer werken.2

Wat is het verschil tussen llms.txt en robots.txt?

Met robots.txt vertel je crawlers welke adressen ze mogen bezoeken. Nette crawlers houden zich daaraan. llms.txt is een voorstel voor een leesgids voor taalmodellen en blokkeert niets.112

Verdwijn ik uit ChatGPT als ik GPTBot blokkeer?

Nee. Blokkeer je GPTBot, dan wordt je content volgens OpenAI alleen niet voor training gebruikt. Voor de zoekantwoorden van ChatGPT telt OAI-SearchBot.3

Houd ik met Google-Extended mijn site uit AI Overviews?

Nee. Google-Extended heeft geen invloed op Google Search. Voor AI Overviews en AI Mode gelden de gewone Search-regels, zoals nosnippet en noindex.514

Bronnen

We gebruiken alleen bronnen die we zelf hebben gelezen. Cijfers van Gaizen komen uit eigen metingen, geanonimiseerd.

  1. The /llms.txt file (opent in nieuw tabblad)llmstxt.org (Jeremy Howard), 3 september 2024
  2. Perplexity Crawlers (opent in nieuw tabblad)Perplexity Docs, 6 november 2026
  3. AI features and your website (opent in nieuw tabblad)Google Search Central, 6 november 2026
  4. Lighthouse v13.3.0 (opent in nieuw tabblad)GoogleChrome op GitHub, 7 mei 2026
  5. llms.txt audit (opent in nieuw tabblad)Chrome for Developers, 6 november 2026
  6. Introduction to robots.txt (opent in nieuw tabblad)Google Search Central, 6 november 2026
  7. Google's common crawlers (opent in nieuw tabblad)Google Crawling Infrastructure, 6 november 2026
  8. About Applebot (opent in nieuw tabblad)Apple Support, 6 november 2026
Wat zegt AI over jouw bedrijf?Gratis AI-scan