Das löst doch alles nicht das Problem.
Die werden einfach versuchen mit den bestehenden Ressourcen mehr zu Crawlen.
Deshalb ja auch solche Sachen wie Google Sitemaps.
Wenn der Bot da bescheid bekommt, dass die Seite sich nur 1x im Monat ändert, hat der Bot mehr Zeit für anderes. |