Hallo,

das mit dem spidern kann schon etwas dauern. Je mehr Links auf Deine Seite kommen, desto öfter führt auch der Weg des bot zu Deiner Seite.

Wie viele Seiten er dann durchschaut bzw. wie tief in der Struktur, hängt auch mit Deinem PR zusammen.