Hallo an alle,

ich habe eine Frage zur korrekten Syntax, wenn man den Googlebot mittels robots.txt von bestimmten Seiten ausschließen will. Ist wahrscheinlich eine Anfängerfrage, aber ich habe hier im Forum gelesen, dass sich manche Leute mit einer fehlerhaften robots.txt-Datei schon böse in den Fuss geschossen haben. Das möchte ich natürlich vermeiden...

Zu meiner Frage: ich weiss, dass die allgemeine robots.txt-Syntax folgendermaßen aussieht:

User-Agent: *
Disallow: /

Nun zum konkreten Beispiel. Meine Website ist ungefähr folgendermaßen aufgebaut:

http://www.domain.de/produktgruppe-1/produkt-a/produkt-a.html
http://www.domain.de/produktgruppe-1/produkt-b/produkt-b.html
http://www.domain.de/produktgruppe-1/produkt-c/produkt-c.html
http://www.domain.de/produktgruppe-2/produkt-a/produkt-a.html
usw...

Wie lautet nun der korrekte Code in der robots.txt-Datei, wenn ich den Googlebot daran hindern will, in Produktgruppe 1 die Seite produkt-a.html zu besuchen, alle anderen Seiten aber weiter indexiert werden sollen?

Meine erste Idee hierzu war:
User-Agent: *
Disallow: /produkt-a.html

Aber dies hätte wohl zur Konsequenz, dass auch die gleichnamige Seite produkt-a.html in Produktgruppe 2 nicht mehr indexiert würde. Oder?

Der zweite Ansatz wäre dann, folgendermßen vorzugehen:
User-Agent: *
Disallow: /produktgruppe-1/produkt-a/produkt-a.html

Bei diesem Ansatz habe ich jedoch die Befürchtung, gleich die gesamte Produktgruppe 1 von der Indexierung auszuschließen. Oder ist diese Befürchtung unbegründet?

Wäre nett, wenn mir hier jemand weiterhelfen könnte.

Viele Grüße,
Matthias

Hallo Matthias

Dein 2. Ansatz ist richtig.
Deine Befürchtung ist unbegründet. Nur diese eine Seite wird gesperrt, nicht die ganze Produktgruppe-1. Und auf Produktgruppe-2 hat das ebenfalls keinen Einfluss.

Gruss
Xenos

Hallo Xenos,

danke für die schnelle Antwort. Noch eine kurze Nachfrage, um das Prinzip besser zu verstehen. Mit

User-Agent: *
Disallow: http://www.domain.de/produktgruppe-1/produkt-a/produkt-a.html

müsste es dann eigentlich genauso funktionieren. Richtig? D.h. auch hier wird nur Produkt a in Produktgruppe 1 von der Indexierung ausgeschlossen, während alle anderen Seiten der Domain weiterhin für den Googlebot erreichbar bleiben. Ist das korrekt?

Viele Grüße,
Matthias

Hi Matthias

Nein, dieser Syntax ist nicht korrekt. Zumindest nicht nach dem Standard-Protokoll von 1994.

Du schreibst "User-Agent: *", sprichst dann aber vom Googlebot. - Wenn du nur den Googlebot ausschliessen willst, sieht das so aus:
User-agent: Googlebot
Disallow: /produktgruppe-1/produkt-a/produkt-a.html

Gruss
Xenos