Zitat:
| Zitat von incabi durch die Google-Webmaster Tools wurde ich auf folgendes Problem aufmerksam:... (Fehlermeldung lt. g.webmastertools: "Netzwerk nicht erreichbar: robots.txt ist nicht erreichbar" ) Da nun in einem solchen Falle keine 404-Fehlermeldung geliefert wird, verzichtet der Bot darauf die Seite ganz zu spidern, um nicht versehentlich Seiten zu spidern, die er laut robot.txt nicht soll.
Kurzum: die Seite flog aus dem Google index!!
.. |
also der g-bot greift ja nicht im minutenrhytmus auf deine seite zu und sucht die robots.txt. vielleicht war in dem moment des zugriffsversuchs mal der server down... pech. und egal. warte einfach ein bischen ab.
dann hat die 404 mit robots.txt überhaupt nichts zu tun. das 404-handling wird serverseitig definiert.. schau mal im adminbereich deiner seite, ggf. auch in die htaccess.
und: wegen deiner robots.txt ist sicher nichts aus dem index geflogen ;-)