Wertet MSN das Nichtvorhandensein einer robots.txt als Sperrung des MSN-Bots? Komischerweise legte ich mal kurzzeitig die robots.txt ins Verzeichnis und keine Minute später kam der MSN-Bot wieder. Sperrt man hingegen in der robots.txt den MSN-Bot hält er sich nicht wirklich dran. Andere Bots sind da etwas gelassener ;-)