Hallo,
Hab da bisher nie so richtig drauf geachtet, aber nach der Aktion von WMW überlege ich jetzt auch bei neuen Projekte was ich in die Robots.txt reinschreiben soll.

Google will ich ja nicht gerade ausschließen. Aber wie heißt es so schön. Die guten Bots halten sich alle an die Robots.txt.

Was schreibt ihr so rein bzw. wäre ja eine Kombination aus htaccess und robots.txt denkbar. Welche Lösungsansätze habt ihr da ?

Bei mir steht z.B immer drin:
User-agent: HenryTheMiragoRobot
Disallow: /

baue da voll und ganz auf http://disallow.de/ ;-)

Das Problem an robots.txt ist, dass brave Bots, die in der Regel auch nicht zu aggresiv sind, diese auch honorieren, wohingegen die bösen bots, die viel Bandbreite brauchen, das robots.txt file einfach ignorieren.

Deshalb empfiehlt es sich auf jeden Fall eine .htacccess Lösung zu verwenden. Dafür gibt es die verschiedensten Lösungen, hier ein paar der gängigsten:
- mod_throttle
- manuelle Logfile-Analyse
- Spider-Fallen, die htaccess Einträge auslösen

@mario
und wie setzt du das ein ?

Eine manuelle Logfile-Analyse ist ziemlich Zeitaufwendig und daher nicht sinnvoll.
mod_throttle hab ich noch garnicht gehört....

Und Spider-Fallen gefällt mir - da werd ich mal bei MSN suchen ;-)

>> und wie setzt du das ein ?
garnicht, Jan und Bull kommen da ja nicht in die Strümpfe

mod_throttle ist im Prinzip dazu da, Nutzer zu sperren/verlangsamen, die in einem gewissen Zeitraum zuviele Anfragen senden. Damit kann man zB Bots erkennen, die einfach nur so schnell wie möglich eine Seite spidern wollen ohne Rücksicht auf Verluste. Die meisten großen Suchmaschinen versuchen ja maximal 1 request/Sekunde zu machen.

Spider-Traps funktionieren ganz einfach:
Eine Seite per robots.txt sperren, diese sehr unauffällig irgendwo verlinken wo kein Mensch klicken würde und sobald jemand diese Seite besucht die IP dem .htaccess File hinzufügen.

@ThomasB
Merci, das klingt gut mit der Spider Trap. Werd ich mal proggen am Wochenende.

@mario
<<...in die Strümpfe
:-) wenn das Forum jetzt vor mir in den Serps steht bist du schuld !!!!