hmmm, ich finde die Crawl-delay Geschichte ja ganz interessant. Habe ich noch nicht gehoert und bisher einfach Yahoo ertragen oder ausgesperrt.
Hat jemand genauere Infos dazu, wie das funktionieren soll?

Best Regards, Jab