Google brutal ausperren. Ist das schädlich?

Robertico · #1 04-06-2007, 12:36

Hallo alle.

Verschiedentlich gelesen, das Google und andere sich nicht an robots.txt halten.

Bei Google solls ja mit:

Code:

User-agent: googlebot
Dissalow: /seite.php

funktionieren.

Da Google trotzdem auf verbotene Seiten geht, habe ich mir überlegt eine brutale Sperrung zu machen.

Im Haeder: (erst mal nur für Google)

Code:

<?php
 if(stripos ( $_SERVER['HTTP_USER_AGENT'],'Googlebot'));
	die("Diese Seite wurde für Sie in der robots.txt verboten. Bitte halten sie sich daran");
?>

Dann würde die Seite sofort abgebrochen.

Aber wäre das nicht schädlich für den Rank?

Gruß Robert

dennis · #2 04-06-2007, 12:46

Hi Robert,

theoretisch fällt das unter Cloaking, da du dem Bot andere Inhalte als dem Sufer präsentierst... somit würdest du abgestraft werden.

Da der Bot aber auf der Seite ja eigentlich nichts zu suchen hat kann ich dir leider nichts verbindliches sagen wie das läuft.

Wenn es nicht anderes gehen sollte einen Verzeichnissschutz drauf schalten und dem User die Zugangsdaten auf der Seite anzeigen - ist zwar sowas von benutzerunfreundlich - aber das sicherste.

Gruß,
dennis

SISTRIX · #3 04-06-2007, 13:43

Versuch doch erstmal eine korrekte robots.txt zu erstellen. Disallow scheibt sich so :-)

Gruß Johannes

Robertico · #4 04-06-2007, 14:16

Hallo SISTRIX,

hast ja Recht. Da es hier keine Auswirkung hat, habe ich einfach so hingeschrieben.

Denke in meiner robots.txt ist alles richtig.

Code:

User-agent: *
User-agent: googlebot
Disallow: /Artikel/
Disallow: /Jessica/
Disallow: /Zahid/
Disallow: /warenkorb.php
Disallow: /Login.php
Disallow: /Register.php
Disallow: /blabla.php
Disallow: /AGB.php
Disallow: /EKU-PDF.php
Disallow: /sphider/
Disallow: /accound.php
#Disallow: 

# Böse Robots die nicht rein dürfen!
# Speichern als robots.txt und auf Ihr Webserver Rootverzeichnis hochladen 
# (wo Ihre Indexseite zu finden ist).

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4 
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind 
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /

Gruß Robert

Themen-Optionen	Thema durchsuchen
Druckbare Version zeigen Diese Seite per E-Mail verschicken	Thema durchsuchen: Erweiterte Suche
Ansicht
Linear-Darstellung Zur Hybrid-Darstellung wechseln Zur Baum-Darstellung wechseln

Ähnliche Themen
Thema	Erstellt von	Forum	Antworten	Letzter Beitrag
Von PR5 auf PR0 aber jetzt Platz 10 in den SERPS	exicose	Google	20	06-05-2007 03:12
Google das Fallbeil für jeden Webmaster?	hubertus	Google	16	19-12-2006 01:04
Quaero soll Google das Fürchten lehren?	dennis	Suchmaschinen News allgemein	15	28-10-2006 19:25
Alle Dienste von Google	softreis	Google News	4	20-04-2006 17:35