Zitat:
| Zitat von SISTRIX Wieso ist Yahoo eigentlich zu dämlich einen ordentlichen Crawler für ihren Suchmaschine auf die Beine zustellen?
|
ganz auf meiner Linie ! Frag ich mich auch schon dauernd
Zitat:
| Zitat von SISTRIX
* Robots.txt werden missachtet: Wie vermutlich einige andere hier auch, habe ich eine Botfalle auf einigen Seiten aktiv. Das heisst, wenn ein Bot in ein Verzeichnis geht, das per robots.txt gesperrt ist, wird die IP des Bots erstmal gesperrt. Der Yahoo-Bot tappt regelmässig in diese Falle, obwohl er die robots.txt seit geraumer Zeit kennt.
|
hab von so ner Falle schon mal gehört
Welche nutzt du ?
aber
http://de.search.yahoo.com/search?fr....de&meta=vl%3D
schaut z.B. aber gut aus...die Falle selber hat halt keinen Cache.