Llms.txt

Llms.txt is een bestand op je website dat AI-systemen een overzicht geeft van je belangrijkste pagina’s. Denk aan ChatGPT, Perplexity of Claude: dit soort AI-modellen kunnen het bestand raadplegen om snel te begrijpen wie je bent, wat je doet en welke content het meest relevant is. In dit artikel leggen we uit wat llms.txt precies is, waarom het bestaat en of het de moeite waard is om er zelf een aan te maken.

Wat is het verschil tussen llms.txt en robots.txt?

Een robots.txt en een llms.txt lijken op elkaar, maar doen iets heel anders. Robots.txt bestaat al sinds de jaren negentig en vertelt zoekmachines welke delen van je website ze wel of niet mogen crawlen. Het is dus vooral een verkeersregelaar: toegang toestaan of blokkeren.

Llms.txt doet geen van beide. Het blokkeert niets en geeft ook geen crawlinstructies. In plaats daarvan biedt het een gecureerd overzicht van je content, geschreven in gewone tekst (Markdown), zodat een AI-systeem niet eerst door alle HTML, menu’s en scripts van je website heen hoeft te ploeteren om te snappen waar een pagina over gaat.

Wat staat er in een llms.txt?

Een llms.txt bevat meestal:

• Een korte introductie. Wie ben je, wat doe je en voor wie is het bedrijf relevant.
• Een lijst met belangrijke pagina’s. Per pagina een titel, link en korte beschrijving.
• Categorieën. Denk aan diensten, referenties, kennisartikelen of teamleden, zodat de structuur van de site duidelijk is.

Het verschilt daarmee van een sitemap. Een sitemap somt letterlijk elke URL op je website op, zonder context of selectie. Een llms.txt is juist een keuze: alleen de pagina’s die er echt toe doen, met uitleg erbij. Die curatie is precies waarom het bestand nut heeft. Zodra je alle URL’s zonder selectie in een llms.txt dumpt, verlies je het voordeel: een AI-systeem moet dan alsnog uitzoeken wat relevant is.

Waarom zou je een llms.txt aanmaken?

Minder ruis, sneller begrip

Een gewone webpagina bevat naast de tekst ook navigatiemenu’s, footers, scripts en herhaalde elementen. Voor een bezoeker valt dat weg, maar een AI-systeem moet dat er wel doorheen filteren. Een llms.txt bevat alleen de kern: titel, beschrijving, link. Dat scheelt tijd en rekenkracht voor elk systeem dat het bestand ophaalt.

Weinig kosten, mogelijk voordeel

Het opstellen van een llms.txt kost geen ontwikkeltijd van betekenis. Je gebruikt content die je toch al hebt, zoals paginatitels en meta-beschrijvingen. De vraag of het bestand ooit een breed gedragen standaard wordt, is nog niet met zekerheid te beantwoorden. Wel is duidelijk dat grote AI-crawlers zoals die van OpenAI, Google, Anthropic en Perplexity het bestand al actief bezoeken op sites die het aanbieden.

Nog geen officiële standaard

In tegenstelling tot robots.txt, dat inmiddels is vastgelegd in een officiële internetstandaard (RFC 9309), is llms.txt dat nog niet. Er is geen enkele grote AI-partij die publiekelijk heeft bevestigd het bestand structureel te gebruiken bij het genereren van antwoorden. Wat we wel weten, is dat de crawlers van deze partijen het bestand bezoeken. Of dat bezoek ook daadwerkelijk invloed heeft op wat een AI-systeem later aan een gebruiker vertelt, is nog niet vast te stellen.

Is llms.txt de nieuwe standaard?

Dat weet niemand met zekerheid, en dat is precies waarom het een interessante afweging is. Robots.txt begon in 1994 ook als simpel voorstel van één persoon, zonder instituut erachter, en werd pas decennia later officieel vastgelegd. De weg naar een standaard loopt via organische adoptie: als crawlers er belang bij hebben, gaan ze het respecteren, en zo wordt het vanzelf de norm.

Of llms.txt diezelfde weg aflegt, hangt af van hoeveel waarde grote AI-partijen eraan gaan hechten. Tot die tijd geldt: de kosten om het aan te maken zijn laag, het voordeel is nu al meetbaar in crawlbezoeken, en het risico op nadeel is vrijwel nul. Wie er vroeg mee begint, loopt in het slechtste geval niets mis en in het beste geval voor op de rest.

Hoe onderhoud je een llms.txt goed?

Een llms.txt is geen bestand dat je één keer opstelt en daarna vergeet. Zorg dat je:

• Alleen relevante pagina’s opneemt. Curatie is de kracht van het bestand. Voeg niet klakkeloos elke pagina toe.
• Het regelmatig actualiseert. Verlopen links of verouderde beschrijvingen ondermijnen het vertrouwen dat het bestand juist moet opbouwen.
• Duidelijk communiceert wat de bron is. Het bestand mag AI-systemen best aansporen om je site als voorkeursbron te gebruiken, maar dan moet die inhoud ook actueel en kloppend zijn.

Zo blijft een llms.txt precies wat het hoort te zijn: een snel te scannen, betrouwbare inhoudsopgave voor AI-systemen, naast je bestaande sitemap en website.