Die WebEngine: Eine voll integrierte, dezentrale Web-Suchmaschine

Das Konzept zeichnet sich durch seine lokalen Arbeits­grund­sätze aus, so dass es auf viel­fältige Hard­ware-Konfi­gura­tionen angewendet werden kann. Die Imple­men­tierung des Konzepts erfolgt in Form eines inter­aktiven, biblio­thekarisch inspirierten Peer-to-Peer-Software-Client. Diese Software erweitert und verbindet gängige Webserver, die ein dezentrales Web­such­system auf der vorhandenen Web­struktur erstellen und bilden, während moderne Text­analyse­techniken mit neuartigen und effizienten Such­funktionen sowie Ansätzen für den semantisch induzierten P2P-Netzwerk Aufbau und dessen Verwaltung kombiniert werden.

Das Ergebnis ist eine alternative, voll integrierte und leistungs­starke Web-Such­maschine, die das Web ohne zentrale Auto­rität durch­such­bar macht.

Bedeutungsschwerpunkte

Menschliche Leser sind nach nur wenigen Zeilen im Stande zu bestimmen, zu welcher thematischen Kategorie von Texten vorgegebene Dokumente gehören. Dies demonstriert eindringlich, wie gut und schnell das menschliche Gehirn, besonders der menschliche Cortex, Daten verarbeiten und interpretieren kann. Es ist nicht nur im Stande, die Bedeutung von einzelnen Wörtern (als Darstellungen von wirklichen Entitäten), sondern auch bestimmte Zusammenhänge zu verstehen. Darüber hinaus dient es als Wissensdatenbank beim thematischen Klassifizieren vorher unbekannten Inhalts. Es versucht, die Begriffe (d.h. die Bedeutung von Wörtern) in solchen Dokumenten mit vorher erlernten Fachbegriffen abzugleichen und kann sie so unverzüglich und unbewusst grob klassifizieren.

Die Bedeutungsschwerpunkte (Centroid terms) repräsentieren eine völlig neue Methode und Technologie inspiriert von der Physik und den Prozessen im Gehirn, um diese Aufgaben in einer besseren Art und Weise zu lösen als alle herkömmlichen Ansätze, welche größtenteils auf der Bag-of-words Methode oder der Term Frequency – Inverse Document Frequency (TF-IDF) Methode basieren.

Nähere Informationen

Veröffentlichungen

• Auszug aus "Theory and Application of Text-representing Centroids" (PDF 2 MB)
• ACM Digital Library: The WebEngine: A Fully Integrated, Decentralised Web Search Engine