Zitat:
| Zitat von Loewenherz Genau wie mir immer wieder Linktauscher begegnen, die keine robots.txt haben, was noch wesentlicher ist. |
@Loewenherz: warum ist in deinen Augen die robot.txt so wichtig? Ich bin in einem Buch mal darüber gestolpert, dass man sich Metas mit index und follow sparen kann, weil G00gle die Seiten eh indiziert und diese Einträge zwar wichtig aussehen, aber null Effekt haben.
Kann man bei der robots.txt nicht ähnlich denken? Wenn ich keine hab, dann soll alles indiziert werden?
Oder gibt es wie beim FavIcon eine Fehlermeldung vom Server, wenn keine robot.txt vorhanden ist?