Hallo,

ich habe vor einigen Wochen eine Web-Visitenkarte erstellt. Nichts großes, nur eine einzelne Seite plus Impressum. Für den Text und die Keywords habe ich ein paar charakteristische Begriffe finden können, die in Suchmaschinen bislang noch nicht vertreten waren. Danach habe ich die neue URL dann manuell bei verschiedenen Suchmaschinen eingetragen.

Seither durchforste ich meine access logfiles ob sich eine Suchmaschine hat blicken lassen. Hier finde ich aber nur Angaben zu IP-Adresse, Betriebssystem und Browsertyp.

Wie kann ich in den logfiles erkennen, ob mich eine Suchmaschine besucht hat?

Hi,

das erkennst du am Browsertyp...
Wenn da beispielsweise was in der Art "...googlebot..." drinsteht hat sich Google mal blicken lassen.

Gruß,
dennis

Ich muss also keine entschlüsselte IP-Adresse kennen, sondern es wäre direkt dort, wo normalerweise der Browser angezeigt wird zu lesen: "googlebot" oder ähnliches.

Hmm, das würde bedeuten, dass ich noch keinen Besuch hatte...

Wie lange dauert es nach einer Anmeldung bei Google denn normalerweise, bis eine neue URL zum ersten mal besucht wird?

In "Ähnlichen Themen" habe ich einen sachdienlichen Beitrag zum Thema: "Ist Besucher ein Robot oder nicht?" zwei interessante Links gefunden:

http://www.wecltd.eu/badrobots/index.de.php

http://www.iplists.com/

Vielleicht war ja doch schon ein Robot da...

wobei die Bösen nicht erkannt werden:
im Referer tauch %bot% oder %crawler% auf.
Keine Identität, kein Betriebssystem? böser bot
Untersuchungen mit Aufruf der Robots.txt sind auch hilfreich, aber nicht immer richtig.

Gruß

Peter

Was benutzt du für ein Statistik-Tool? Hab so ein schönes PHP-Script, da sehe ich sekündlich die Bots kommen oder nicht kommen. Da erkennt man es schnell und gut.

Beispiele:

fj5025.inktomisearch.com*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

66.249.66.204*crawl-66-249-66-204.googlebot.com*Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

und so weiter ...

holla,

na so pressiert es mir nicht. Mein Tool habe ich selbst geschrieben. Da meine Statistiklogs von 1+1 auch eher alle 1/2 Stunde aktualisiert werden ist eine schnellere Auswertung für die Füsse.

Oder

Meinst du die Angaben im Apache-Logfile? Die sind natürlich Sekundengenau. Das stelle ich auch dar (mit Sitzungsverlauf) siehe in einem anderen Threat.

gruß

Peter

Die üblichen logfile Einträge sehen bei mir so aus:

217.185.162.xxx - - [31/Jul/2006:11:20:38 +0200] "GET / HTTP/1.1" 2xx 54xx wewewe.x.de "-" "Mozilla/5.0 (Windows; U; Win98; de-DE; rv:1.0.2) Gecko/20030208 Netscape/7.02" "-"

(Anmerkung: Einzelne Teile des Eintrags habe ich hier mal ausge-xt)

Was bezeichnet man hier nun als Referer und was als Identität?
Welche abschnitte geben Aufschluss über gute oder böse Robots?

Ein Beispiel wäre hilfreich.

Hier mal eine Liste der bad robots -> http://www.wecltd.eu/badrobots/index.de.php