durch die Google-Webmaster Tools wurde ich auf folgendes Problem aufmerksam:
Der GoogleBot kann auf unsere im Stammverzeichnis geladene Datei robot.txt definitiv nicht zugreifen. (Fehlermeldung lt. g.webmastertools: "Netzwerk nicht erreichbar: robots.txt ist nicht erreichbar" ) Da nun in einem solchen Falle keine 404-Fehlermeldung geliefert wird, verzichtet der Bot darauf die Seite ganz zu spidern, um nicht versehentlich Seiten zu spidern, die er laut robot.txt nicht soll.
Kurzum: die Seite flog aus dem Google index!!

Ist es möglich dass vom Hoster serverseitig die Googlebot IP Adressen blockiert werden könnten, da er eventuell zu viel Traffic produziert??
Hatte hier schon mal jemand diesen Fall?

Kann mir das nicht anders vorstellen, denn die robot.txt liegt nunmal korrekt im Stammverzeichnis und ist mittels Browser jederzeit erreichbar.

Gruß incabi

Hmm, die robot.txt muss eigentlich robots.txt heissen? Oder ist das egal?
Hast du dich nur vertippt? Andernfalls mal mit 's' probieren

ne, dann hab ich mich nur hier vertippt. Sie heißt schon richtigerweise robots.txt und ist auch schön klein geschrieben, wie's sich gehört...

also der g-bot greift ja nicht im minutenrhytmus auf deine seite zu und sucht die robots.txt. vielleicht war in dem moment des zugriffsversuchs mal der server down... pech. und egal. warte einfach ein bischen ab.

dann hat die 404 mit robots.txt überhaupt nichts zu tun. das 404-handling wird serverseitig definiert.. schau mal im adminbereich deiner seite, ggf. auch in die htaccess.

und: wegen deiner robots.txt ist sicher nichts aus dem index geflogen ;-)

Nun ja... ich weiß ja nicht, wie ernst man die Google Webmaster Tools nehmen darf und ich will mal deren Hinweise ernst nehmen. Aber stutzig machten mich dann doch auch Berichte im groups.google.de und auch in folgendem Blog.

Überhaupt ist es recht merkwürdig, dass dieses Problem in letzter Zeit scheinbar bei einigen öfters auftritt...
Aber im Grunde typisch für Google: alles wieder nebulös und keiner weiß so richtig bescheid...
LG
incabi

Never say never, aber ein Zusammenhang dass die Domäne aus dem Index geflogen ist und dem "Nicht erreichen" der robots ist nicht möglich. Mal abgesehen, davon, dass die meisten Webseiten überhaupt keine haben, kann es Durchaus auch sein, dass sie nicht erreichbar ist weil man die robots wieder gelöscht hat ;o). Der Blogbeitrag ist Humbug und der in den Groups hat nach kurzem anlesen des Posts ein anderes Problem.


Diese Aussage ist aber auch typisch ;o).