mod_throttle ist im Prinzip dazu da, Nutzer zu sperren/verlangsamen, die in einem gewissen Zeitraum zuviele Anfragen senden. Damit kann man zB Bots erkennen, die einfach nur so schnell wie möglich eine Seite spidern wollen ohne Rücksicht auf Verluste. Die meisten großen Suchmaschinen versuchen ja maximal 1 request/Sekunde zu machen.
Spider-Traps funktionieren ganz einfach:
Eine Seite per robots.txt sperren, diese sehr unauffällig irgendwo verlinken wo kein Mensch klicken würde und sobald jemand diese Seite besucht die IP dem .htaccess File hinzufügen. |