Seit kurzem habe ich neben den in den HTML-Code eingebundenen Texten auch PDFs zum Download eingestellt. Da ich im Meta-Tag robots: "index follow" einegeben habe, durchforstet Gogglebot nun auch fleißig die PDFs. Da es sich hierbei um Preislisten mit dauernd wiederkehrenden Begriffen, wie "Grundpreis" handelt, bewertet Google diese unspezifischen aber häufigen Begriffe einfach zu hoch. Wichtigere Keywords fallen dabei aus den top 100 Suchbegriffen heraus.

Wie kann ich vermeiden, dass Googlebot die PDFs mit in die Suche einbezieht?

Kannst Du die PDFs nicht in ein extra Verzeichnis schieben (z.B. foo.com/pdf/) und das dann einfach per robots.txt sperren?

Ja, kann ich das? Ich bin mir nicht sicher, ob ICH das kann. Wenn das über eine robots.txt sperren kann, dann will ich das gerne probieren. Bislang habe ich nämlich keine Sitemaps und auch noch keine robots.txt Datei erstellt. Zunächst war ich froh das Googlebot regelmäßig vorbeischaute und alles lückenlos abgesucht hat.

Könnte man nicht auch etwas schlichteres probieren, einfach indem man etwas wie NOFOLLOW in die Meta-Tags aufnimmt.

Mit meiner Frage, ob Du es kannst, wollte ich eigentlich nur zum Ausdruck bringen, ob der Aufwand für Dich akzeptabel ist, alle PDFs zu verschieben und die Verlinkung zu ändern. ;-)

Ansonsten würde ich Dir diese Vorgehensweise empfehlen: So hast Du sauber den SuMa-Content von "internen" Dokumenten getrennt.

Gruß

Y

Hier die Infos zur robots.txt:

http://www.google.com/support/webmas...362&topic=8846

Ich habe gerade ein Meta Tag auf der Seite ergänzt, welche auf das betreffende / die betreffenden PDFs verweist:

<meta name="robots" content="index, nofollow">

Das bedeutet im KLartext doch: Diese Seite noch indexieren, aber keine ausgehenden Links verfolgen. Damit müßten die PDFs eigentlich außen vor bleiben, oder?

Die andere Lösung verstehe ich so: Ich Kopiere die PDFs in einen separaten Ordner beispielsweise "pdfverzeichnis" genannt. Anschließend schreibe ich mit einem Texedditor folgenden Text in eine Textdatei:

"Disallow: /pdfverzeichnis/" Diese Textdatei mit vorstehendem Inhalt nenne ich dann "robots.txt" und kopiere sie via FTP auf den Server.

Wäre das korrekt?

Mach letzteres. Ist sauber und sicher.

O.K. mach ich dann bei nächster Gelegenheit.