Yahoo Bot überschwemmt Forum - Was kann ich tun ?

[Handy]

Hallo,

seit einigen Tagen ist die Anzahl der "Gäste" enorm gestiegen, ein genauer Blick verriet, das diese Gäste meist die "Yahoo! Slurp Suchmaschine" sind.

Von 300 Gästen sind es meist alleine 220 von der Suchmaschine, das Problem gibt es erst seit letzter Woche. Hat jemand ne Ahnung wie man das ganze etwas einschränke kann?

Das Forum existiert schon 3 Jahre und hatte nie so eine akute Anzahl von diesen Bots..

[jr-ewing]

bist du sicher das es sich um einen Yahoo Bot handelt oder nur um einen Fake ?

Wenn Fake -> Spider-trap.de
Wenn kein Fake -> Crawl-delay in die Robots.txt einbauen....

[Handy]

Also steht in der Besucherliste immer "Yahoo! Slurp Suchmaschine", mit diesem delay wird es aber dann auch nicht mehr "normal" von yahoo indexiert oder?

[jr-ewing]

doch klar - wird normal indexiert !!! bloß langsamer

um sagen zu können ob es Yahoo ist musst du aber in die Logfiles gehen und dort nach er IP schauen mit der Yahoo gekommen ist und dann schauen ob auch die IP zu Yahoo gehört

[Flair]

denke eher das es bots sind die stürzen sich in letzter Zeit viel auf Foren

[Loewenherz]

Bei einem neuen Thema in meinem Hauptforum gab es innerhalb einer halben Stunden 400 Aufrufe. Eine Stunde später waren es 2000 - aber keine Antwort. Die Erstellerin des Threads war ziemlich baff. Und ich ratlos - kann es mir nur mit Suchmaschinen-Überflutung erklären.

[jabz.biz]

hmmm, ich finde die Crawl-delay Geschichte ja ganz interessant. Habe ich noch nicht gehoert und bisher einfach Yahoo ertragen oder ausgesperrt.
Hat jemand genauere Infos dazu, wie das funktionieren soll?

Best Regards, Jab

[Forum_php]

http://www.deaf-suche.de/hoergeschaedigte/bot.html da kannste nach lesen ist meine eigene Suchmaschine die über einen eigenen Robot und Sipder verfügt ;-)

Einfach deaf-suche.de-Bot mit den yahoo bot ersetzen ;-)

[Paulchen]

Hatte ich auch. Ging vorbei. Zudem wenn du mit einem anständigen Tool die Auswertungen machst, fallen diese Fake-Users nicht auf.