CloudFlare heeft een BOT Fight Mode geïntroduceerd enige tijd geleden, waardoor je effectief BOT’s kunt blokkeren. Dit is een methodiek die uitstekend werkt zo hebben we ervaren. Net als het blokkeren van AI Bot’s. Er is echter één nadeel aan de BOT Fight Mode. De functionaliteit van, in het bijzonder, WordPress websites wordt gemankeerd er door.

CloudFlare is een Amerikaans bedrijf dat je helpt je website veilig te houden en beschermt tegen aanvallen van buitenaf. Daarnaast zorgt het voor caching van je website op een effectieve manier. CloudFlare ontwikkelt regelmatig aanvullende diensten zoals de BOT Fight Mode.

WordPress gebruikt voor het plaatsen van blogberichten cronjobs via de WP-Cron.

“WP-Cron is hoe WordPress omgaat met het plannen van tijdgebaseerde taken in WordPress. Verschillende WordPress-kernfuncties, zoals het controleren op updates en het publiceren van geplande berichten, maken gebruik van WP-Cron. Het “Cron”-gedeelte van de naam komt van het cron-tijdgebaseerde taakplanningssysteem dat beschikbaar is op UNIX-systemen. WP-Cron werkt door bij elke paginalading een lijst met geplande taken te controleren om te zien wat er moet worden uitgevoerd. Alle taken die moeten worden uitgevoerd, worden tijdens die paginalading aangeroepen” (WordPress documentatie).

CloudFlare BOT Fight Mode

Nadeel van de CloudFlare Bot Fight Mode is dat het de cronjobs die in WordPress gebruikt worden voor het publiceren van berichten en, belangrijker nog, uitvoeren van updates van plugins onderschept. Hierdoor worden berichten niet meer gepubliceed op je WordPress website en krijgen de status “mislukt” en is, door het niet uitvoeren van updates, je website kwetsbaar voor aanvallen. Ook andere programmatuur die afhankelijk is van WP-Cron, zoals mailingplugins, werken niet meer.

Dit geldt niet alleen voor de WP-Cron. WP-Cron werkt immers door bij elke paginalading een lijst met geplande taken te controleren om te zien wat er moet worden uitgevoerd. Voor websites waarbij de WP-Con is uitgeschakeld, in het bijzonder gebruikelijk bij websites met veel verkeer, en er middels een server-side cronjob regelmatig de WP-Cron wordt gestart geldt dit ook.

Tevens zorgt de CloudFlare BOT Fight Mode er voor dat programmatuur waarmee WordPress websites ‘op afstand’ kunnen worden onderhouden, die wij bijvoorbeeld gebruiken voor de managed WordPress diensten, de betreffende sites niet meer kunnen benaderen.

Gebruik van de CloudFlare BOT Fight Mode kent ons inziens meer nadelen en risico’s dan voordelen doordat kwetsbare software geen udpates meer ontvangt. Mogelijk geldt dit ook voor andere CMS-systemen zoals Joomla e.a., die cronjobs gebruiken.

AI Bots blokkeren

Een andere, nieuwere, optie die CloudFlare beschikbaar heeft gesteld om te voorkomen dat AI Bots je content ‘scrapen’ werkt wel naar behoren.

Deze optie kun je gebruiken om te voorkomen dat je website platgelegd wordt, wat we bij cliënten constateerden de afgelopen tijd, door AI Bots die de robots.txt volstrekt negeren en maar blijven ‘hameren’ op websites.

Met als gevolg dat websites nagenoeg onbereikbaar werden, er hoge serverloads ontstongen en er zeer veel zinloos “verkeer” werd gegenereerd naar- en van de websites. Niet alleen je eigen site heeft daar dan last van, ook anderen lijden hier onder. Dit hebben we de afgelopen tijd grotendeels zelf ondervangen op de servers. Maar de aanvulling die CloudFlare biedt is zeker nuttig odmat het verkeer naar websites dan bij CloudFlare al wordt afgevangen en niet pas als ze de server bereiken.

Dit kost je als eigenaar van een website datatransfer. Het wekt de indruk alsof je website heel goed bezocht wordt. Maar niets is minder waar, het is niet meer dan een stuk software dat druk bezig is informatie van je site te verzamelen met als doel dit te gebruiken voor hun eigen voordeel: het ontwikkelen van AI-tools waar ze geld mee willen verdienen.

WordPress updates

Gebruik je CloudFlare en wil je de BOT Fight Mode inschakelen dan houdt dit daadwerkelijk bots tegen. Het bewijs er van hebben we gezien op bepaalde websites. Maak je geen gebruik van de WP-Cron om berichten te publiceren of software updates te doen, dan kun je deze aan zetten.

Bedenk dan wel dat je vanaf dat moment ook geen auto-updates van je WordPress plugins krijgt en dit (met regelmaat) zelf, handmatig, moet gaan doen. Over het algemeen is het daarom dus het verstandigste, bij WordPress websites, deze optie uit te zetten (zie screenshot hier boven).