Wie Ihr sicherlich fast alle wisst, gibt es mittlerweile 2 Bots
den hier www.google.com/bot.html und den Mozilla Google Bot.
Viele denken sicherlicher das der bot.html bald aus dem Verkehr gezogen wird,so wie ich die sache sehen haben diese zwei Bots aber eine ganz besondere Aufgabe. Ich beobachte diese Zwei Bots jetzt schon eine ganze weile, ich betreibe ja ein wbb Forum dort ist es möglich die Bots auch bei der Arbeit zu beobachten. Der html Bot kommt bei mir immer nur auf die Startseite und zwar genau immer dann,wenn ich was neues eingesetzt habe. er spiedert immer nur meine Aktuelle News und sonst nichts. Wenn der Bot html da war dauert es ungfähr 10 Min dann kommt der Mozilla Bot und fängt an wie wild alle neuen Themen zu Spiedern. Und das passiert jeden Tag ca 10 Mal. Bei mir sind diese zwei Bots schon richtig zuhause,es dauert mittlerweile keine 2 tage mehr bis meine neuen beiträge im Index sind. Man beachte aber das meine Portal Seite nur einen PR von 3 hat,aber dennoch sind alle Themen Top Aktuell im Index.
Vielleicht kann ja jemand auch über diese 2 Bots berichten? In meinen Augen ist der html.Bot nur ein sklave vom Mozzila Bot um zu schauen,ob es auf der Webseite was neues gibt.