Gerade habe ich den Beitrag über die Wikipedia Suchmaschine gelesen und habe dazu auch meine Meinung abgefasst.

Und kurz danach ist mir eingefallen wo Google tatsächlich verletzlich ist (eigentlich sind es zwei Punkte)
Das Erfassen von Ergebnissen dauert - Google ist nie auch nur annähernd "live".

Wichtige Ereignisse erscheinen immer Zeitverzögert was gerade bei wichtigen News einfach nicht optimal ist. Tutorials z.b. sind nie direkt ab dem Zeitpunkt verfügbar ab dem Sie im Internet sind, es dauert bis der Bot gecrawlt hat.

Wenn man schneller und optimaler als Google agieren kann, da bin ich mir sicher, kann man google den Schneid abkaufen.

Finanziell kommt man gegen google nicht an da bin ich mir auch sicher. Man schafft es also niemals ein Rechnernetz zu installieren das auch nur annähernd mit googles "Billigrechnersupercomputer" mithalten kann - alleine. Was wäre aber wenn man ähnlich ilus Idee zusammen einen Webmaster-Supercomputer zusammenbaut, wo man ein geclustertes System installiert.

Dieses System müsste so verwaltet werden das viele Rechner zusammen themenähnliche Anfragen bedienen und diese Rechner sich spezialisieren.

Um nun schneller zu sein als google müsste man Quasi die Suchanfragen erkennen - gibt es passende Ergebnisse, gibt man die aus und weißt gleichzeitig die Rechner die in etwar diesen Themenbereich abarbeiten an, Ihre Ergebnissdatenbanken zu aktualisieren indem die im cache befindlichen Seiten neu gecrawlt und aktualisiert werden. Wird aufgrund verschiedener parameter erkannt das es sich um eine gänzlich neue Sache handelt zu der die angesprochenen Rechner noch nichts zu einem gewissen Prozentsatz relevantes ausliefern können, müssten die Rechner sofort angewießen werden diverse Newsseiten oder bekannte Informationsquellen anzusprechen und aktiv nach dieser Thematik zu suchen um sofort Ihre Ergebnissdatenbank auf Vordermann zu bringen. Sollten vorgegebene Resourcenwerte überschritten werden müsste das System sofort neue Rechner ins Netz geben die sich in einem "pending" Status befinden bzw. noch Resourcen offen haben.

Man schafft sich also quasi ein System das nicht wie hohl das ganze Web in sich "hineinfrisst" sondern ein System das intelligent auf Suchanfragen reagiert und speziell nach Informationen in Margen sucht. damit vermeidet man denke ich auch speicherplatzverschwendung für themen die nie gesucht werden, sondern man hat nur themen im cache die mindestens für eine gewisse zahl "x" an personen von belang ist. wird - z.b.wird eine thematik lange nicht mehr gesucht fliegt die seite/die Seiten aus dem cache und es bleibt nur eine URL vorhanden die bei neuerlicher Anfrage als "Rechercheansatzpunkt" dient. In diesem fall wäre die Struktur so, das eine suche eben unter Umständen etwas zeit benötigt, aber ich denke mir das Suchende dankbar sind wenn sie auch zu unspektakulären Themen stehts das beste im Netz verfügbare an Information zu sehen bekommen. Auch hier hat google eine Schwachstelle - nämlich die das Websites die nicht sonderlich oft aktuell gehalten werden auch mit sehr alten Infos im Cache rumliegen und auf basis dieser der Search Query durchgeführt wird. Mit einem ausschließlich Suchsensitivem System würde diese Problematik von hause aus nicht entstehen.

Um die Resourcen vom größten Privatrechner im Netz mit Multicpus und weiß der geier wieviel ram bis hin zum kleinsten Webmaster mit geocities gratis webspace anzusprechen müsste man ein modell ausknobeln welches die Lasten ideal umverteilt.

Auf den größeren Rechnern laufen also die Bots die idealerweiße in einer schnellen Sprache programmiert sind, die auf den kleinen nicht verfügbar sind - bzw damit auch die richtigen "Cache-Quellen" ansprechen, während die kleineren Spaces vor allem als Massenspeicher arbeiten oder primitivere arbieten durchführen bei denen geschwindigkeit nicht an erster Stelle steht.

Um das ganze für Webmaster interessant zu gestalten müsste man sich eine Art und vorm von Werbesystem einbinden das Themen+Resourcenabhängig arbeitet. Wird eine Suchanfrage gestellt und es wird also anstelle eines normalen ergebnisses eine bezahlte Werbung gecklickt verdient der Webmaster der den großen Crawler server stellt einen größeren teil der einnahmen+ der Webmaster der am Ende Suchergebnisse aus dem cache ausliefert auch noch mal einen kleinen Betrag. Dabei müsste seine Einnahme davon abhängig sein an welcher stelle sein Suchergebniss kommt- das ergebniss an der Topstelle verdient dabei mehr als das Ergebniss an platz 10. Wenn also an einem ergebniss 3 crawler und 8 caches an einer ergebnissauslieferung beteiligt sind splittet sich die einnahme auf diese 11 quellen auf, dbei bekommen der crawler und der ache am meisten die die topposition ausliefern , fürdie anderen reduzieren sich die einnahmen positionsabhängig.

Um user wirklich Neugierig zu machen könnte man ein Feld einbinden - ala

"Vielen Dank für Ihre Anfrage - Da unser System zum aktuellen zeitpunkt noch über keine zu 100% passenden Suchergebnisse verfügt wurde ein Webcrawlvorgang aktiviert - Schauen Sie sich bitte einstweilen unsere Alternativergebnisse an - sofern bessere Ergebnisse mittels crawlvorgang gefunden werden konnten werden Sie bei einem der nächsten Besuche auf unserer Seite darauf hingewießen"

Um den Anreiz in späterer folge noch zu Erhöhen könnte man auch ein System einbinden das dem User einen Anteil der generierten Einnahmen oder gewisse Vorteile verspricht wenn er einen Crawlvorgang zu einem Thema initiiert hat das kurz darauf von allgemeinem interesse ist. Er würde also für eine beschränkte zeitdauer mitverdienen wenn ein Thema aus welchen Gründen auch immer von einem tag auf den anderen in das Auge der Weltöffentlichkeit rückt.

Ein solches System zu installieren würde sicher viel Arbeit bedeuten aber es könnte funktionieren oder was sagt Ihr dazu?

ich sage dazu, das zum ersten der administrative verwaltungsaufwand sehr hoch wäre und zum zweiten das freiwillige clustern viel zu anfällig ist vor ausfällen und rückzügen.

übrigens muss ich an dieser stelle google mal in schutz nehmen. ich finde sehrwohl, das sie bei aktuellen themen sehr schnell ergebnisse liefert. wenn du das bei der menge an seiten schneller hinbekommst, respekt.

lieber gruß
terraX

Ich schaffen? Kann ich mir nicht vorstellen... Mich mit Google anzulegen erscheint mir dann doch eine Nummer zu groß, auch wenn man mir nachsagt gelegentlich unter Größenwahnsinn zu leiden.

Was ich vielmehr möchte ist hier mal einen Denkanstoß zu geben wie man u.U. sich selbst der Problematik stellen würde wenn man nun eine Suchmaschine erstellen möchte.

Es wäre doch sehr interessant mal ein Gedankenspiel durchzugehen wie man mit eher bescheidenen Rechenkapazitäten zu guten Ergebnissen kommen könnte indem man versucht mit möglichst optimierter Resourcenverteilung zu arbeiten - wie ich das angesprochen hatte, eventuell über ein möglichst dynamisches Cachemodell oder etwas in der Art.

Google macht seinen Job gut, unbestritten. Es wäre nur einfach interessant zu sehen ob sich andere/bessere Lösungswege finden lassen.

Gut, mein letzter Beitrag hat schon zu sehr nach Umsetzung geklungen, da habe ich etwas zu weit nach vorne gedacht - nur zur Erklärung - ich habe nicht vor morgen mit einer handgemachten Suma an den Start zu gehen (aber übermorgen vielleicht *ggg* )

keine sorge, onkel seo, es geht immer besser und google ist sicher nicht das ende aller dinge. ich bin sicher, und ich selber arbeite ja kräftig mit daran, das es ein leben NACH google geben wird. wie man immer wieder sehen kann, kommt google trotz seine vielen moneten schon garnicht mehr nach, weder mit indizieren noch mit vielem anderen. weltunternehmen hin oder her, die unfassbar großen datenmengen wollen verarbeitet werden.

leider muss ich immer wieder den lesen, das man zwar der gedanken vieler hat, aber es wohl kein mensch schafft, eine wirkliche konkurenz zu werden. man wird sehen, google ist jetzt gerade mal 9 jahre, 4 monate und 13 tage alt. ich kenne keinen menschen, der mit diesem alter schon geradeaussprechen konnte. und wenn google endlich mal sprechen kann, dann wollen wir alle sehen, ob es mit sinn und verstand sein wird. sollte das nicht der fall sein, wird niemand mehr google zuhören. warten wir also ab.

lieber gruß
terraX