Thema
:
MSN und robots.txt
Einzelnen Beitrag anzeigen
#
3
18-01-2006, 15:31
jr-ewing
Moderator
Registrierungsdatum: Nov 2005
Beiträge: 599
Wenn du keine robots.txt hasst ist es auch nicht schlimm
Aber msnbot hält sich an die Robots. Zumindest ist mir kein Fall einer Missachtung bekannt.
Wenn du da natürlich
User-agent: msnbot
Disallow: /
reinschreibst ist es wie eine Sperre.
jr-ewing
Öffentliches Profil ansehen
Eine Private Nachricht an jr-ewing schicken
Besuche die Homepage von jr-ewing!
Suche alle Beiträge von jr-ewing