AI Bots zijn hongerige datawolven die ongevraagd en vaak ongemerkt uw bandbreedte stelen om daarmee Large language models (LLM’s) van data te voorzien. Over de rug van makers van originele content proberen zij (veel) geld te verdienen. De rechten van makers worden daarbij vaak met voeten getreden.

Een voorbeeld hiervan is de Apple Bot, Applebot-Extended, die ongevraagd websites afschuimt en dit vanaf een brede waaier van IP-adressen doet.

Applebot-Extended

Recentelijk werd een van onze servers getroffen door duizenden hits per uur vanuit het Apple netwerk. Allemaal te relateren aan de Applebot-Extended. Met vervelende consequenties voor gebruikers. Want we zagen ons genoodzaakt alle connecties uit het Apple-domein (tijdelijk) te blokkeren.

Inmiddels is dit anders opgelost en worden connecties van (alleen) de bots zoals die van Applebot-Extended afgevangen en geblokkeerd.

Data scraping

Data scraping, of web scraping, is het geautomatiseerde proces waarbij gestructureerde data wordt geëxtraheerd uit websites, databases of documenten. Het wordt veel gebruikt voor marktonderzoek, prijsmonitoring, leadgeneratie, concurrentieanalyse en het ‘voeden’ van LLM’s.

Gevolg van het ‘scrapen’ (schrapen) van data is dat de datalimiet van websites en servers eerder bereikt wordt en eigenaren van websites kunnen worden geconfronteerd met afsluiting van hun websites, door het overschrijden van de limieten, of daarvoor extra moeten bijbetalen.

Nu heeft BrinkmanIT voor de meeste websites geen harde datalimiet. Er zijn in de webhostingpakketten wel limieten opgenomen maar incidentele overschrijding zal niet meteen leiden tot een naheffing of afsluiting van een website. Maar er zijn natuurlijk wel grenzen. Die wordt in het bijzonder bereikt als een website zoveel data verbruikt dat andere websites hier hinder van ondervinden. Of wanneer er sprake is van structurele overschrijding van de limiet. In dat geval wordt er contact opgenomen met de eigenaar van een website.

Auteursrechten

Niet alleen wordt er ongevraagd bandbreedte verspild, maar wat veel ernstiger is, is dat de inhoud van uw website of webwinkel wordt gebruikt voor de training en informatievoorziening van OpenAI (ChatGPT), Anthropic (Claude), Google (Gemini), Meta, DeepSeek, xAI en Mistral maar ook voor Apple’s Siri of Spotlight.

Originele content (teksten, afbeeldingen) worden door de bots gelezen, opgeslagen en verwerkt. Het is al jaren een juridisch heet hangijzer of dit eigenlijk wel mag.

— Wanneer het scrapedoelwit teksten, afbeeldingen en andere “eigen intellectuele scheppingen” bevat, hebben deze auteursrechtelijke bescherming, tenzij het feitelijke opsommingen betreft zoals woningoppervlak, prijs of aantal slaapkamers. Auteursrechtelijke bescherming betekent dat de betreffende informatie niet zonder toestemming openbaargemaakt of verveelvoudigd mag worden. (ICTRecht)

In Nederland wordt, door ondermeer het ANP, druk jacht gemaakt op mensen die wel eens “een plaatje van Google” halen en zij ontvangen hiervoor hoge rekeningen. De AI-bots scrapen zonder blikken of blozen dezelfde foto’s, betalen er helemaal niets voor en gebruiken die als basis voor generatie van afbeeldingen.

En het opmerkelijke is.. dat kán allemaal. Want de (Nederlandse) auteurswet heeft geen vat op hen en daar komt bij zij publiceren de originele afbeeldingen niet. Niemand weet wat zij in hun databases hebben staan en wat ze er mee doen.

Sterker, dat AI-plaatje dat je genereert (net als bij dit artikel) wordt ook nog eens je eigendom(!) en je kunt er rechten op doen gelden. Maar ondertussen hebben de originele makers van de werken waarop de AI zich baseert het nakijken.

Generative Engine Optimization (GEO)
Bij het schrijven van artikelen wordt door veel mensen meer en meer rekening gehouden met Generative Engine Optimization (GEO). Zodat de AI-bots je website goed opslokken en je data gebruiken. In de hoop dat er vanuit de LLM’s doorverwezen wordt naar je website.

Het heeft z’n voordelen – maar ook onmiskenbare nadelen.

• Jouw originele content verdwijnt in de hongerige datawolf z’n buikje en je mag hopen dat je er iets voor terugkrijgt in de vorm van bezoekers;
• Steeds meer websites worden eenheidsworst in stijl en inhoud. Men richt zich volledig op de AI-tools bij het schrijven van artikelen;
• Hoe vriendelijker je website is ‘voor de AI’, hoe meer bandbreedte je kwijt bent vanwege het feit dat de bots zich ‘voeden’ met jouw content.

Blokkade Applebot-Extended

De Applebot-Extended was dermate agressief in de benadering van websites en, in tegenstelling tot de gewone ‘Applebot’ die indexeert voor zoekresultaten, is uitsluitend bedoeld voor het verzamelen van data voor kunstmatige intelligentie. Niet om verkeer naar uw website te leiden. Daarom is deze nu geblokkeerd.

Het is niet aan ons, als webhost, om te bepalen of je website voer voor de AI-bots mag zijn die de LLM’s voeden. Wanneer je wilt dat jouw webpagina’s gelezen en gebruikt worden voor ChatGPT en Google Gemini dan is dat je goed recht.

Wil je (alle) AI-bots blokkeren van je website dan kun je een robots.txt-bestand maken en de zoekmachines en bots vertellen wat ze wel en niet mogen lezen op je site.

Een voorbeeld hiervan:

User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Bytespider
Disallow: /

# Toestaan van zoekmachines
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /

Blokkeren van de Datawolf

Je kunt de code voor de robots kopieëren en plakken in je robots.txt. Daarmee blokkeer je de grootste en meest bekende AI-bots. Daarmee maak je ook duidelijk aan de bots dat je er niet van gediend bent dat jouw originele teksten, afbeeldingen of andere content door hen gebruikt wordt. Deze robots.txt plaats je vervolgens in de ‘root-folder’ van je website (in de public_html folder of www-folder).