Ist euch schon mal aufgefallen, wenn ein Besucher eure Seite betritt, sofort der Bot nach dem Besucher drauf ist, sozusagen Realtime. Oder man schiebt eine neue Seite hoch, der Bot ist sofort drauf. Schneller kann man neue Seiten nicht indizieren lassen ;-)