Hoe herken je bots die zich voordoen als menselijke bezoekers?
Antwoord
Aan gedrag, want de user agent zegt daar niets: een actuele Chrome-string, HTTP/2, een plausibele taalheader, een pagina per IP-adres, duizenden adressen van cloudaanbieders. Echte browsers laden afbeeldingen. Echte bezoekers komen via zoeken en links en gaan naar dezelfde populaire pagina's. Een menigte die duizenden verschillende pagina's bezoekt, elk precies een keer, is geen menigte maar een oogst. Meer dan honderd sites hosten helpt: een handtekening die binnen een uur op veel van die sites opduikt is geen mens. Voeg honeypots toe, pagina's waar geen mens om vraagt, en houd de classifier geversioneerd, want de andere kant beweegt: een vloot reageerde binnen een dag op een nieuwe regel door een enkel CSS-bestand op te halen als alibi.