Wertet MSN das Nichtvorhandensein einer robots.txt als Sperrung des MSN-Bots? Komischerweise legte ich mal kurzzeitig die robots.txt ins Verzeichnis und keine Minute später kam der MSN-Bot wieder. Sperrt man hingegen in der robots.txt den MSN-Bot hält er sich nicht wirklich dran. Andere Bots sind da etwas gelassener ;-)

Es gibt keine Notwendigkeit an einem robots.txt zu haben. Es ist das ganzes normale Verhalten der Web-spinne :-)

Wenn du keine robots.txt hasst ist es auch nicht schlimm

Aber msnbot hält sich an die Robots. Zumindest ist mir kein Fall einer Missachtung bekannt.

Wenn du da natürlich

User-agent: msnbot
Disallow: /

reinschreibst ist es wie eine Sperre.

Ich hatte bei 3 neuen Projekten die ganzen Daten vom Rechner auf den Server geschoben und hatte nicht an die robots.txt gedacht. Alle spiderten, nur msn nicht. Packte sie rein und schon war wieder alles i.O. ;-)