Moet u opt-in of opt-out van AI-crawlers?

Crawlers : Het EU-regime 2026 is opt-out by default (CDSM Artikel 4 + EU AI Act Artikel 53): LLM-leveranciers mogen crawlen tenzij je uitdrukkelijk weigert via robots.txt of een ander machine-leesbaar mechanisme. In de VS is het de facto opt-out via robots.txt zonder geharmoniseerd juridisch kader. Aanbeveling: systematische training-opt-out, gerichte retrieval-opt-in.

Wat de EU-wetgeving werkelijk zegt

"Het debat tussen opt-in en opt-out is juridisch beslecht door de CDSM-richtlijn: voor commerciële text-and-data mining, LLM-training inbegrepen, volstaat een machine-leesbare opt-out", verklaart Lorenzo Eeman, oprichter van PROEMA. De uitgever moet dus de barrière oprichten, niet afwachten. De barrière is in de praktijk robots.txt met gerichte Disallow-directives, en, sinds 2024, de meta-tag noai / noimageai die door sommige uitgevers (Adobe, Shutterstock) gedocumenteerd is. EU AI Act Verordening (EU) 2024/1689 Artikel 53 versterkt dit door General Purpose AI (GPAI)-modelleveranciers te verplichten het opt-out-signaal te respecteren als toegangsvoorwaarde tot de Europese markt.

Waarom de opt-in-lobby pas na 2027 zal landen

Het ethische debat, opt-in zou uitgevers beter beschermen, is wettelijk niet beslecht. De Europese uitgeverslobby (EMMA, ENPA, MPA) duwt op opt-in via een CDSM-revisie, maar de wetgevingsagenda maakt een overstap onwaarschijnlijk vóór 2027-2028. De NYT vs OpenAI-rechtszaak (S.D.N.Y. 23-cv-11195, ingediend december 2023, motions en discovery lopen in 2024-2026) wordt in Europa nauwlettend gevolgd als jurisprudentietest, maar een Amerikaanse uitspraak is niet direct toepasbaar op de EU. Voor PROEMA en klanten: wacht de wetgevingsrevisie niet af, rol nu het robots.txt-patroon 2026 uit (Disallow training bots, Allow retrieval bots).

Bijzondere casus voor content met hoge IP-waarde

Bijzondere casus: heeft je content sterke commerciële waarde (medisch onderzoek, finance, propriëtaire data, persarchieven), overweeg dan een betaalde licentie met OpenAI, Anthropic of Google. Axel Springer (€10-15 M/jaar geschat), FT, Le Monde, Reuters, WSJ, Vox Media hebben dergelijke deals al getekend in 2024-2025. Voor de grote meerderheid van B2B-/redactionele KMO-sites blijft de rationele balans: training-opt-out + gerichte retrieval-opt-in. Bronnen: CDSM-richtlijn 2019/790, EU AI Act Verordening (EU) 2024/1689 Artikel 53, EMMA-ENPA-standpunt, OpenAI policy on robots.txt (augustus 2023), Reuters legal coverage 2024-2026, persbericht Axel Springer / OpenAI december 2023.