Hi Leute,

bin mir hier nicht ganz sicher, aber wenn in der robots.txt folgendes steht:
User-agent: *
Disallow:

dann dürften wohl Suchmaschinen ziemliche Probleme haben, oder? Oder wie ist diese Anweisung zu interpretieren?

liebe Grüße
Trendy

Frage: Wie kommst du darauf?

Interpretation: Alle Spider dürfen alle Verzeichnisse und Dateien spidern.

Das beste ist eine leere robots.txt.

ob "das beste" würd ich so nicht sagen....

aber dann wäre, falls du das bezwecken möchtest, def. nichts ausgeschlossen!

schöne grüße,
Ben

Wer will denn etwas ausschliessen ;-) Wir wollen doch allen eine Chance geben, nicht nur Google.

Eben, und die Content-Sauger die man gern auschliessen würde, halten sich ja eh nicht ans Robots Exclusion Protokoll.