Thema: Robots.txt
Einzelnen Beitrag anzeigen
  #6  
Alt 29-11-2005, 00:00
ThomasB ThomasB is offline
Administrator
 
Registrierungsdatum: Nov 2005
Ort: München
Beiträge: 426
Standard

mod_throttle ist im Prinzip dazu da, Nutzer zu sperren/verlangsamen, die in einem gewissen Zeitraum zuviele Anfragen senden. Damit kann man zB Bots erkennen, die einfach nur so schnell wie möglich eine Seite spidern wollen ohne Rücksicht auf Verluste. Die meisten großen Suchmaschinen versuchen ja maximal 1 request/Sekunde zu machen.

Spider-Traps funktionieren ganz einfach:
Eine Seite per robots.txt sperren, diese sehr unauffällig irgendwo verlinken wo kein Mensch klicken würde und sobald jemand diese Seite besucht die IP dem .htaccess File hinzufügen.
Mit Zitat antworten