durch die Google-Webmaster Tools wurde ich auf folgendes Problem aufmerksam:
Der GoogleBot kann auf unsere im Stammverzeichnis geladene Datei robot.txt definitiv nicht zugreifen. (Fehlermeldung lt. g.webmastertools: "Netzwerk nicht erreichbar: robots.txt ist nicht erreichbar" ) Da nun in einem solchen Falle keine 404-Fehlermeldung geliefert wird, verzichtet der Bot darauf die Seite ganz zu spidern, um nicht versehentlich Seiten zu spidern, die er laut robot.txt nicht soll.
Kurzum: die Seite flog aus dem Google index!!

Ist es möglich dass vom Hoster serverseitig die Googlebot IP Adressen blockiert werden könnten, da er eventuell zu viel Traffic produziert??
Hatte hier schon mal jemand diesen Fall?

Kann mir das nicht anders vorstellen, denn die robot.txt liegt nunmal korrekt im Stammverzeichnis und ist mittels Browser jederzeit erreichbar.

Gruß incabi