Wieso ist Yahoo eigentlich zu dämlich einen ordentlichen Crawler für ihren Suchmaschine auf die Beine zustellen?

* Trailing-Slash-Bug: Auch wenn ich auf ein Verzeichnis verweise, so probiert der Bot es erstmal ohne Trailing-Slash. Also Link /dir/, Yahoo Slup erstmal auf /dir und dann per 301 weiter.

* Robots.txt werden missachtet: Wie vermutlich einige andere hier auch, habe ich eine Botfalle auf einigen Seiten aktiv. Das heisst, wenn ein Bot in ein Verzeichnis geht, das per robots.txt gesperrt ist, wird die IP des Bots erstmal gesperrt. Der Yahoo-Bot tappt regelmässig in diese Falle, obwohl er die robots.txt seit geraumer Zeit kennt.

Wollen die nicht oder können die nicht? So wird das jedenfalls nichts.

Gruß Johannes, reichlich verärgert ob dieses offensichtlichen Dillentantismus

ganz auf meiner Linie ! Frag ich mich auch schon dauernd

hab von so ner Falle schon mal gehört Welche nutzt du ?

aber
http://de.search.yahoo.com/search?fr....de&meta=vl%3D
schaut z.B. aber gut aus...die Falle selber hat halt keinen Cache.

Habe mir selber etwas geschreiben, da ich ein paar Anforderungen brauchste, die vorhandene Projekte so nicht erfüllten (Integration in unser CMS&Stats, projektübergreifende Datenbank). War aber trotzdem eine Sache von 2 Stunden.

Gruß Johannes

Cloaking ist keine Alternative.

Was willst Du uns damit sagen, bazoo?

Berechtigte Frage, was hat den Cloaking mit der Geschichte zu tun?

Aber zurück zu Yahoo. Ich glaube, gedanklich haben die sich schon lange von Ihrer SuMA verabschiedet. Alle entwicklungen gehen ja stark in die Community-Richtung. Würde mich nicht wundern, wenn die schon beschlossen hätten ihre SuMa "verhungern" zu lassen.
Erwarte hier keine großartigen Updates oder Verbesserungen ind er nächsten Zeit. Die Schlacht ist verloren

Ich glaube nicht, dass Yahoo die Suchmaschine aufgegeben hat oder aufgeben wird. Dazu ist dieser Bereich des Internets einfach, auch in Zukunft, zu wichtig. Ich denke eher, dass Yahoo in der Weiterentwicklung Richtung local/social/buzzwordhere-Search seine Chancen sieht. Würde auch den Kauf der zahlreichen Web2.0-Klitschen begründen

was sag ich?
- Aufgabe des klassischen SuMa geschäfts und
- Weiterentwicklung richtung Community (meinetehalben auch Community-Search wenn du es denn so haben möchstest )