Hallo zusammen,
ich möchte ein passwortgeschütztes Forum für Suchmaschinen zugänglich machen.
Wie stellt man sowas am besten an?
Ich vermute an manuellen Anpassungen der Forensoftware wird man wohl nicht vorbeikommen. Das sollte aber kein allzu großes Problem darstellen.
Mir geht es um den technischen Lösungsansatz...

Mir fallen zunächst drei Möglichkeiten ein:

1. Erkennung der Bots aufgrund deren IPs
(vermutlich am besten wenn man dann über zuverlässige Daten bezüglich der IPs der Bots verfügt.)
2. Erkennung aufgrund des User Agents
(leicht zu realiserien, kann aber leicht umgangen werden, vielleicht aber ausreichend)
3. Das vorhandensein eines Referrers prüfen
(siehe Punkt 2)

Hat jemand weiter Ideen, wie man sowas umsetzen könnte?
Weiß jemand wie die das z.B. bei www.webmasterworld.com machen?

schonmal Danke für jegliche Tips!

Gruß,
joejoe

ich möchte nicht ausfallend werden, aber die frage: "geht's noch?" soll mir mal erlaubt sein!

es gibt genau eine möglichkeit, die wirklich zu einfach sein sollte und auch wenig programmieraufwand benötigen sollte: NIMM DEN PASSWORTSCHUTZ RAUS!

gehen wird wirklich nur das eine oder das andere, denn hier ist der widerspruch doch nun schon sehr offensichtlich ...

lieber gruß
terraX

Guten Morgen Joejoe,

deine Ansätze werden dir nicht ganz den Erfolg versprechen.

>> 1. Erkennung der Bots aufgrund deren IPs
(vermutlich am besten wenn man dann über zuverlässige Daten bezüglich der IPs der Bots verfügt.

Da wirst du nicht alle bekommen.

>> 2. Erkennung aufgrund des User Agents
(leicht zu realiserien, kann aber leicht umgangen werden, vielleicht aber ausreichend)

Wenn mit normalen Tonnline-Adressen gespidert wird, auch da schwer.

Du meintest via modrewrite den bot auf ein anderes Verzeichnis reinleiten?

Warum nimmst du nicht, wie terra meinte, den PW einfach raus? Warum sollen Dinge gespidert und in den SERPs angezeigt werden, wenn der normale User sie auch nicht sehen kann?

Ich seh bei diener geposteten URL auch keinen PW im Forum.

PW rausnehmen, bot kommen lassen. Alles wird gut ;-)

hmm das ist ja hier richtig konstruktiv leute...
es soll communities geben die leben halt aus welchen gruenden auch immer davon, wissen auch wirklich nur der community anzubieten.
also einfach mal ganz entspannt bleiben...

weil es vielleicht trotzdem von interesse sein koennte für den "normalen user" und man so sumas als guenstiges marketinginstrument eingesetzen koennte!
entschuldigt leute aber ist das denn so verwerflich?



wer spidert mit normal t-online adressen und wieso ist das in diesem kontext relevant? ich dachte einfach daran zu schauen, was für ein UserAgent angeben ist. der googlebot z.b. meldet sich ja fuer gewoehnlich auch mit dem selbigen namen?

gruß,
tom

>> meldet sich ja fuer gewoehnlich auch mit dem selbigen namen

Warum sollte er? Dann lassen sich alle möglichen Spam-Techniken doch wunderbar realisieren.

Beispiel Cloaking:

Da diese Methode in der Vergangenheit oft missbraucht wurde, um Suchmaschinen andere Inhalte vorzuspiegeln, als tatsächlich in der Website enthalten war (Keyword-Spamming, Spamdexing), wird die Methode von Suchmaschinenbetreibern sanktioniert. Spidernamen werden nicht mehr öffentlich gemacht, um eine Zuordnung zur Suchmaschine zu verhindern, oder es werden mehrere Spider eingesetzt, ein offizieller wie etwa Scooter von Altavista oder Slurp von Inktomi, und unbekannte, inoffizielle, die sich ggf. sogar als Browser bei der Seite zu erkennen geben. So können Suchmaschinenbetreiber herausfinden, ob ein einfaches Cloaking (UserAgent Cloaking) angewandt wird. Allerdings ist professionell durchgeführtes Cloaking, auch IP-Cloaking oder IP-Delivery genannt, für die Suchmaschinen recht schwer zu enttarnen, da die Spidererkennung auf Basis von IP-Adressen, Reverse DNS und Class C Netzwerken erfolgt, die den Suchmaschinen zugeordnet werden können. Voraussetzung für ein funktionsfähiges IP–Cloaking sind aktuelle IP–Listen der Spider.

Weiterhin besitzen die Spider und Browser jeweils eine Art „Footprint“, durch den man beide unabhängig vom UserAgent recht gut unterscheiden kann.

Die meisten Suchmaschinen enthalten entsprechende Vorschriften in ihren Nutzungsbedingungen und in der Regel werden die entdeckten Seiten dauerhaft aus dem Index entfernt und so für dem Seitenbetreiber das Gegenteil dessen erreicht, was erreicht werden sollte.

>> hmm das ist ja hier richtig konstruktiv leute...
es soll communities geben die leben halt aus welchen gruenden auch immer davon, wissen auch wirklich nur der community anzubieten.
also einfach mal ganz entspannt bleiben...

Ich gebe dir konstruktive Antworten!

ja ok das mit dem cloaking seh ich absolut ein.
dachte aber es gibt vielleicht eine tollerierte technik seitens der sumas fuer solche zwecke...

achso. zum thema http://www.webmasterworld.com/, da hab ich mich wohl in der tat vertan
hatte referrer-logging deaktiviert. dann kommt immer der anmeldedialog...

also waere die einzige moeglichkeit ip-cloaking, was aber recht viel aufwand/connections bedeuten wuerde bezueglich der ip-listen?

gruß,
tom

@terrax
Also der Erotikbereich hat genau das gleiche Problem. Soll nicht zugänglich für jeden sein aber die Sumas sollen die Seiten ja finden. Also die Idee von joejoe ist nicht so haarsträubend wie du geschrieben hast ;-)

@joejoe
Warum machst du nicht so eine Art "Vorschau". :-)
Du kopierst einfach die Topics von vorigerer Woche in ein Unterforum dass frei zugänglich gemacht wird. Dieses Unterforum zeigst du aber nicht in der ganz normalen Liste an sondern verlinkst es von z.B: der Sitemap oder wo auch immer.
Wenn die dann mit dem Referer von Google kommen -> umleiten in das normale Forum.

Es ist nicht OK,
wenn Du passwortgeschützte Daten
veröffentlichen willst.

Dann hole Dir bitte zuvor die Zustimmung ein,
von allen die etwas gepostet haben.

ich dachte hier geht es um einen technischen Lösungsansatz ?

Datenschutz und Privatsphäre usw sollte natürlich vorher geregelt sein.