Wieso ist Yahoo eigentlich zu dämlich einen ordentlichen Crawler für ihren Suchmaschine auf die Beine zustellen?

* Trailing-Slash-Bug: Auch wenn ich auf ein Verzeichnis verweise, so probiert der Bot es erstmal ohne Trailing-Slash. Also Link /dir/, Yahoo Slup erstmal auf /dir und dann per 301 weiter.

* Robots.txt werden missachtet: Wie vermutlich einige andere hier auch, habe ich eine Botfalle auf einigen Seiten aktiv. Das heisst, wenn ein Bot in ein Verzeichnis geht, das per robots.txt gesperrt ist, wird die IP des Bots erstmal gesperrt. Der Yahoo-Bot tappt regelmässig in diese Falle, obwohl er die robots.txt seit geraumer Zeit kennt.

Wollen die nicht oder können die nicht? So wird das jedenfalls nichts.

Gruß Johannes, reichlich verärgert ob dieses offensichtlichen Dillentantismus