Hoe het AI-web het vinden van inhoud herschrijft: Van zoekrangschikking tot het terugvinden van bronnen

Intro

Tientallen jaren lang was het web gebaseerd op een eenvoudige transactie: publiceer inhoud, wordt gecrawld, verdien een plek in de zoekresultaten en het verkeer zou volgen. Links, autoriteit, snelheid, trefwoorden - de hefbomen waren bekend, het spel transparant. Zichtbaarheid stond gelijk aan ontdekking. Ontdekking stond gelijk aan groei.

Vandaag wordt dat contract stilletjes ontbonden.

De opkomst van ai engines & generative engine optimization - ChatGPT, Perplexity, Claude en hun verwanten - verandert de manier waarop informatie wordt opgehaald, samengevat en gepresenteerd. AI wijst gebruikers niet langer de weg naar jouw pagina. Het beantwoordt ze direct. Het leest, begrijpt en parafraseert - vaak zonder een klik in zicht. In deze nieuwe wereld vecht je content niet om een positie. Het vecht voor begrip.

En als de AI jouw informatie niet gemakkelijk kan ontleden, contextualiseren en vertrouwen? Dan raak je niet alleen achterop. Je verdwijnt.

Vaarwel, ranglijsten. Hallo, Ophalen.

De oude zoekmachines werkten door documenten te indexeren. Ze sloegen momentopnames van het web op, rangschikten ze op autoriteit en relevantie en stuurden gebruikers verder. Generatieve zoekmachines werken anders. Ze bouwen samengestelde antwoorden op uit meerdere bronnen. Ze samplen, leiden af en synthetiseren. Zichtbaarheid gaat in deze wereld niet over positie op een pagina. Het gaat over geselecteerd worden als geloofwaardig materiaal wanneer een machine een antwoord samenstelt.

Het is een meedogenloze verschuiving. Inhoud die niet gestructureerd, samengevat en gemakkelijk verteerbaar is door machines, kan als ruis worden behandeld. Of erger nog, helemaal niet wordt weergegeven.

In feite heeft het terugvinden het rangschikken ingehaald en de meeste websites hebben dat nog niet ingehaald.

Een web bedoeld voor mensen - en machines

De kern van deze verschuiving is een stil probleem: websites zijn nooit ontworpen voor dit soort lezers.

Ze zitten vol met JavaScript, gaan gebukt onder layoutgymnastiek en gaan gebukt onder UX-flores die mensen verblinden maar parsers verbijsteren. Wat een generatieve engine nodig heeft is schone, gestructureerde, controleerbare informatie - en snel.

Maar er is vandaag de dag geen inheems signaal dat zegt: "Hier is het zinvolle gedeelte. Hier is wat je kunt vertrouwen."

In die leegte ontstonden initiatieven zoals llms.txt: een grassroots poging om een machinevriendelijke samenvatting te bieden aan de basis van een site. Eenvoudige Markdown, ontdaan van afleidingen, met titels, samenvattingen en belangrijke links. Een opmerking voor de passerende AI: dit is wat belangrijk is.

Tegelijkertijd zijn er ambitieuzere raamwerken opgedoken, zoals het Model Context Protocol (MCP) van Anthropic, dat een echt protocol definieert waarmee AI-agenten live en met toestemming gegevens van servers in realtime kunnen opvragen. MCP is niet speculatief; het wordt al gebruikt en OpenAI ondersteunt het samen met Anthropic.

Het doel is duidelijk: het web structureren voor machines die niet crawlen, maar converseren.

Van hoopvolle hints naar formele kanalen

In veel opzichten weerspiegelt llms.txt de doe-het-zelf geest van het vroege web: een eenvoudige oplossing, snel geïmplementeerd, zonder te wachten op normcommissies. Het heeft geen formele validatie, geen versiebeheer. Het succes is afhankelijk van goodwill - dat AI engines het zullen opmerken, het zullen ontleden en de inhoud zullen respecteren.

MCP daarentegen is ontworpen als een volledig protocol: in versie, gespecificeerd, gedocumenteerd. Het stelt zich een toekomst voor waarin websites op verzoek gecontroleerde stukken live informatie aan AI-agenten beschikbaar stellen, met attributie, contextvorming en waarborgen. In plaats van verouderde pagina's te schrapen, zou AI gestructureerde vragen kunnen stellen aan gestructureerde eindpunten.

Vroege implementaties door bedrijven als Sourcegraph en Block (Square) laten zien hoe dit eruit zou kunnen zien: real-time, geauthenticeerde, coöperatieve kennisoverdracht tussen sites en generatieve systemen.

Het is geen crawler's web meer. Het wordt een conversatieweb. En protocollen zoals MCP laten doorschemeren dat sites in de nabije toekomst twee API's zullen hebben: één voor mensen en één voor machines.

De prijs van inbegrepen zijn

Er zit natuurlijk wel een addertje onder het gras: zichtbaarheid via MCP en aanverwante frameworks is niet gratis.

Het blootstellen van live gegevens vereist een evenwicht tussen snelheid, veiligheid en merkveiligheid. Er is een nieuwe risicocalculus: hoeveel geef je bloot? Hoe zorg je ervoor dat je gegevens niet verkeerd worden geciteerd of gebruikt? Protocollen zoals MCP maken scoped queries, handhaving van metadata en contexttoekenning mogelijk - maar deelname vereist nog steeds vertrouwen, waakzaamheid en de bereidheid om je infrastructuur aan te passen voor machinegebruik.

Maar voor de meeste websites is het alternatief erger: onzichtbaarheid.

Als je informatie niet gemakkelijk te structureren, samen te vatten en terug te vinden is, zul je steeds vaker buiten AI-gegenereerde conversaties vallen - van productaanbevelingen tot citaten van experts.

Een nieuw soort web presence bouwen

Succes in dit nieuwe tijdperk is weggelegd voor sites die voor twee doelgroepen tegelijk structuur aanbrengen.

Ze zullen machineleesbare samenvattingen, heldere semantische organisatie, feitelijke helderheid en transparante autoriteitsmarkeringen omarmen. Ze gebruiken opkomende standaarden zoals llms.txt en MCP niet als klusjes, maar als hefboom.

Tools helpen al. Oplossingen zoals Geordy automatiseren het genereren van voor AI geoptimaliseerde gestructureerde output - van llms.txt-bestanden tot YAML-schema's - waardoor websites proactief vorm kunnen geven aan hun machine-gerichte verhaal in plaats van te hopen dat het correct wordt geïnterpreteerd.

Want op het AI-web is hoop geen strategie.

De nieuwe voorwaarden voor zichtbaarheid

Het web fragmenteert: een versie voor mensen, een andere voor machines. En de regels voor de laatste worden nog steeds geschreven.

Vandaag is het inzetten van een gestructureerde laag voor AI optioneel, maar morgen kan het een inzet zijn.

De winnaars van deze stille protocoloorlog zullen niet de luidruchtigste merken zijn. Zij zullen degenen zijn wiens informatie netjes in de hoofden van machines stroomt, omdat ze vroeg hebben ingezien: in het AI-web is begrijpelijk zijn krachtiger dan populair zijn.