Het AI-beleid van Nederlandse webshops: 83 procent blijkt er geen te hebben

AI-agents en AI Search veranderen de manier waarop consumenten webshops vinden. Maar hoe bereiden Nederlandse retailers zich daarop voor? We onderzochten de robots.txt-bestanden van 100 Nederlandse webshops. De uitkomst verrast: 83 procent heeft geen expliciet beleid voor AI-crawlers.

Heeft de Nederlandse e-commerce een antwoord klaar voor zijn nieuwe, machinale bezoeker? We deden wat iedereen kan doen, maar niemand had gedaan. We controleerden de robots.txt van 100 Nederlandse webshops: de 40 grootste ketens van het land, aangevuld met een steekproef van zestig WooCommerce-webshops uit een bestaande klantenportefeuille. Elf shops schermden zelfs hun robots.txt af achter een botmuur, 89 konden we analyseren.

De uitkomst: 74 van de 89, oftewel 83 procent, noemt geen enkele AI-crawler. Geen GPTBot, geen OAI-SearchBot, geen PerplexityBot, geen ClaudeBot. Van bol.com en Coolblue tot Albert Heijn, HEMA en de Bijenkorf, en net zo goed bij het mkb: de bots die bepalen wat AI straks over deze winkels adviseert, lopen er onbenoemd in en uit. Het verschil tussen groot en klein bleek verwaarloosbaar: 86 procent van de ketens heeft niets geregeld, 81 procent van het mkb. Dit is dus geen kwestie van budget of kennisachterstand. De vraag is simpelweg nog nergens gesteld.

Het beleid dat er wél is, blijkt zelden van de shop zelf

Wie in de vijftien uitzonderingen duikt, stuit op iets dat ons zelf verraste. Bij zeven mkb-shops troffen we een identieke robots.txt aan, tot op de komma. Geen van die zeven had het bestand zelf gemaakt: het bleek een standaardconfiguratie van de serveromgeving, die AI-bots afremt met een zogeheten crawl-delay. De shops wisten van niets; hun “AI-beleid” is een fabrieksinstelling. Extra wrang: uitgerekend GPTBot negeert crawl-delay-instructies, dus het remt vooral bots af die zich netjes gedragen. Nog eens vier shops blokkeren AI-crawlers volledig, met wederom onderling identieke botlijsten. Dat riekt naar een securityplugin-preset in plaats van een afweging.

De conclusie wordt daarmee scherper dan het kale percentage. Van de 89 onderzochte webshops konden we er hooguit een handvol aanwijzen waar aantoonbaar iemand zélf heeft nagedacht over welke AI-systemen toegang krijgen tot productdata, prijzen en voorraad. De rest vaart op toeval: op wat de hoster instelt, op wat een plugin ooit heeft weggeschreven, of op niets.

De twee shops die wél kozen, kozen tegengesteld

Leerzaam zijn de uitersten, allebei bij de grote ketens. Woonwinkel Flinders doet de deur resoluut dicht: GPTBot, ClaudeBot, Google-Extended, CCBot en een reeks andere AI-crawlers worden volledig geweerd. Een verdedigbare keuze zonder crawlkosten en data-afgifte, maar met een prijs die pas later zichtbaar wordt: wat een AI-systeem niet mag lezen, kan het ook niet aanbevelen.

MediaMarkt voert het meest verfijnde beleid van de steekproef. De elektronicaketen staat de bots áchter de AI-antwoorden expliciet toe (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot), maar blokkeert CCBot, de crawler van Common Crawl waarvan de datasets worden gebruikt om AI-modellen te trainen. Oftewel: wél vindbaar willen zijn in het koopadvies van vandaag, geen gratis trainingsmateriaal willen zijn voor de modellen van morgen. Daar heeft iemand over nagedacht.

En dan het detail dat veel zegt over waar retailers hun échte dreiging zien. De vaakst geblokkeerde bot in ons onderzoek is niet die van OpenAI. Het is Amazonbot, de crawler van de concurrent, geweerd door drie ketens waaronder MediaMarkt.

Waarom “geen beleid” ook een beleid is

De verleiding is om te concluderen dat die 83 procent iets fout doet. Zo simpel is het niet. Toelaten is voor de meeste shops waarschijnlijk de juiste keuze: zichtbaarheid in AI-antwoorden wordt een groeikanaal, en onderzoek dat hier eerder langskwam wees al uit dat merken die vaker in bronnen genoemd worden, vaker door AI worden aanbevolen. Wie de crawler buitensluit, sluit zichzelf uit van dat mechanisme.

Maar “toelaten omdat je het niet wist” is iets anders dan “toelaten omdat je het wilt”. Wie geen beleid heeft, heeft ook geen antwoord op de vervolgvragen die nu op elke marketingagenda thuishoren. Betaal je er graag serverruimte voor dat élke AI-partij je volledige catalogus ophaalt, ook degene die nooit een klant doorstuurt? Wil je onderscheid maken tussen answer-engines die verkeer terugsturen en trainingscrawlers die alleen halen? En de belangrijkste: als de crawlers toch komen, is wat ze aantreffen (prijzen, voorraad, structured data) op orde, of adviseert ChatGPT je klanten straks op basis van een verouderde feed?

Dat maakt dit een marketingonderwerp en geen IT-klusje. De nieuwe bezoeker leest geen campagnes en ziet geen huisstijl; hij leest data. Robots.txt is slechts de voordeur, maar wie niet weet of zijn voordeur openstaat, heeft over de inrichting erachter zeker niet nagedacht.

Eerlijk is eerlijk: wat dit onderzoek niet ziet

Drie kanttekeningen. Robots.txt is een verzoek, geen slot: bonafide bots respecteren het, kwaadwillende negeren het. Een shop kan AI-bots ook weren op CDN- of firewallniveau, onzichtbaar voor dit onderzoek; de elf shops die zelfs hun robots.txt achter een botmuur verstoppen, bewijzen dat die laag bestaat. Het aantal shops mét een vorm van beleid ligt dus mogelijk iets hoger dan onze meting toont; het aantal dat er bewust over nadacht, vrezen we, niet veel.

En: de mkb-shops in dit onderzoek zijn klanten uit ons eigen beheer. De bevinding over de standaard-serverconfiguratie is dus ook een spiegel voor onszelf; we troffen haar aan in onze eigen achtertuin. We maken dat beleid inmiddels expliciet en bespreekbaar per klant, en precies dat gunnen we de rest van de markt: niet één juiste instelling, maar een bewuste.

De check van vijf minuten

Wie wil weten hoe zijn eigen winkel ervoor staat: typ je domeinnaam met /robots.txt erachter in de browser en zoek op GPTBot, PerplexityBot of ClaudeBot. Staat er niets, dan behoort je shop tot de 83 procent. De vervolgvraag is dan niet “hoe blokkeer ik dit”, maar “wat wil ik hier eigenlijk”. Wie bewust kiest voor open, kan zijn energie richten op waar het echt om gaat: zorgen dat de data die de bots ophalen klopt. Wie wil differentiëren, heeft aan MediaMarkt een gratis voorbeeld.

De AI-agent die volgens de voorspellingen de grootste shopper van Nederland wordt, staat al voor de deur van elke webshop in dit land. Ons onderzoek laat zien dat die deur vrijwel overal openstaat, maar bijna nergens omdat iemand hem heeft opengezet.

Over de auteur: Boy Smeets is medeoprichter van Surver