Consensus erweitert wissenschaftliche Rechercheplattform mit semantischer Suche und KI-Tools von Elastic

Die 2022 an den Start gegangene Suchmaschine Consensus nutzt künstliche Intelligenz (KI) und Large Language Models (LLMs), um aus über 200 Millionen wissenschaftlichen Veröffentlichungen aus der Semantic Scholar-Datenbank, die den Peer-Review-Prozess durchlaufen haben, Erkenntnisse zu aggregieren und herauszufiltern. Dabei werden alle wissenschaftlichen Bereiche abgedeckt, sodass Consensus sich zur ersten Anlaufstelle für Forschende aus so unterschiedlichen Bereichen wie Medizin, Anthropologie, Psychologie und Klimaforschung entwickelt hat.

Als die Anwendung in den Dienst gestellt wurde, verwendete sie eine Inferenzpipeline, die auf einer Reihe von Lösungen basierte, unter ihnen Elastic Search mit den Standardeinstellungen. Christian Salem, CPO bei Consensus, erinnert sich: „Wir waren damals eines der wenigen Unternehmen in unserer Branche, die zusätzlich zu einer Suchmaschine LLMs und KI-gestützte Zusammenfassungsfunktionen verwendeten.“

Im Bereich der künstlichen Intelligenz ist ein Jahr aber eine lange Zeit. Da sich gerade im Bereich der KI-gestützten Suche immer mehr Unternehmen tummeln, wurde es zunehmend schwieriger, sich in diesem umkämpften Markt abzuheben. Um der Konkurrenz einen Schritt voraus zu bleiben, stellte Consensus Engineers mit Fachkenntnissen in den Bereichen Suchmaschinen und künstliche Intelligenz ein, um die Relevanz der Suche und die End-User Experience zu verbessern. Chris Varano, Lead Search Engineer bei Consensus mit fast einem Jahrzehnt Engineering-Erfahrung bei Amazon Search und Google, war von Anfang bis Ende an der Leitung des ELSER-Projekts beteiligt.

Ursprünglich glaubte das Team, die Performance der Suche durch die Anpassung einer Vektorsuchplattform erreichen zu können, aber es wurde bald klar, dass eine solche Plattform nicht in der Lage wäre, Millionen von Nutzer:innen in einer Produktionsumgebung zu unterstützen. Außerdem würden ihr viele nützliche lexikalische Funktionen fehlen. „Wir hätten diese Features auch selbst entwickeln können, aber für ein kleines Team in einem so dynamischen Markt wäre dies eine teure und zeitaufwendige Option gewesen“, so Varano.

Bei seinen Recherchen stieß das Consensus-Team auf das vor Kurzem eingeführte Feature ELSER (Elastic Learned Sparse Encoder). Dieses neue, von Elastic trainierte Abrufmodell ermöglicht es Unternehmen, zusätzlich zu Suchen anhand exakter Keywords semantische Suchen durchzuführen, die auf kontextueller Bedeutung und der jeweiligen Absicht („Intent“) der Nutzerin oder des Nutzers basieren. „Wir erhalten all die Vorteile der KI-gestützten Vektorsuche, ohne auf die Vorteile verzichten zu müssen, die die herkömmliche suchbegriffbasierte Suche mit sich bringt“, freut sich Varano.

In der neuen Consensus-Version, Consensus 2.0, arbeitet im Hintergrund ELSER. So profitieren die Endnutzer:innen von einer höheren Suchgenauigkeit und neuen, auf generativer KI basierenden Funktionen, die eine Zusammenfassung der besten Ergebnisse liefern. Die Software führt anhand der Suchanfrage eine Kombination aus suchbegriffbasierter Suche und Vektorsuche in den Abstracts und Titeln aller wissenschaftlichen Veröffentlichungen in der Datenbank durch. Dadurch erhält Consensus eine intelligente Abschätzung der Relevanz des jeweiligen Dokuments für die konkrete Suchanfrage.

Der so gewonnene Relevanz-Score wird anschließend mit vielen anderen Metadaten kombiniert, z. B. der Zitierhäufigkeit, der Zitiergeschwindigkeit und dem Veröffentlichungsdatum, um ein neues Ergebnisranking zu erhalten und die Top 20 der möglichen Ergebnisse zu ermitteln. Danach lässt die Consensus-Software das GPT‑4-Modell von OpenAI über die Top 10 der Ergebnisse laufen, um eine aus einem Satz bestehende Zusammenfassung der Top-Studien zu erstellen.

Als einer der ersten Nutzer von ELSER arbeitete das Consensus-Team eng mit Elastic zusammen. „Nachdem wir das Ganze zum Laufen gebracht hatten, übertraf das Ergebnis all unsere Erwartungen. Alle anderen bis dahin unternommenen Versuche mit Vektorsuchen waren damit einfach hinfällig“, erinnert sich Varano.

Das Team unterstreicht auch die Bedeutung des standardmäßigen Funktionsumfangs von Elastic, zu dem lexikalische Funktionen, der Abgleich von ganzen Wortgruppen (Exact Phrase Matching) und die suchbegriffbasierte Suche im Allgemeinen gehören. Funktionen wie Filter, die Möglichkeit, Begriffe auszuschließen, und Fuzzy Matching spielten ebenfalls eine wichtige Rolle.

ELSER und Elastic unterstützen auch den RAG-Workflow (Retrieval Augmented Generation) von Consensus, also die Nutzung der Elastic-Suchergebnisse als Grundlage für die von ChatGPT generierten Zusammenfassungen. „Mit Elastic und ELSER haben wir ein hohes Vertrauen in die Suchqualität und es besteht so gut wie kein Risiko von Halluzinationen in unserer KI-Schicht, wenn es um das Generieren von Zusammenfassungen geht“, so Salem.

Consensus entschied sich ursprünglich auch deshalb für Elastic, weil Elastic zur zugrunde liegenden Infrastruktur und zu den Anwendungen passte, die auf Google Cloud gehostet sind. „Einer der Gründe für die Entscheidung für Elastic war die Tatsache, dass es so problemlos mit Google Cloud genutzt werden kann. Beide sind in hohem Maße konfigurierbar und vermitteln uns das Gefühl, dass wir die volle Kontrolle über die Infrastruktur haben“, so Salem.

Seit der Einführung von Consensus 2.0 mit ELSER im Hintergrund hat sich die Suchrelevanz für die Endnutzer:innen deutlich verbessert. Sie erhalten jetzt auf die konkrete Frage zugeschnittene Informationen, die aus wissenschaftlichen Veröffentlichungen extrahiert werden, und durch KI generierte Zusammenfassungen der wichtigsten Ergebnisse. Das Suchen geht jetzt auch schneller – die durchschnittliche Suchzeit bei der semantischen Suche hat sich mit der neuen Version von fast vier Sekunden auf weniger als eine Sekunde reduziert. „Elastic macht in unserem Metier einen wirklichen Unterschied. Wir nehmen nicht nur einfach die Daten anderer und versehen sie mit einer dünnen Schicht KI, sondern wir haben die volle Kontrolle über die Suchmaschine und reichern sie oben drauf mit KI-Features an“, so Salem.

Die Zahlen sprechen für sich. Seit der Einführung hat sich die Zahl der Suchanfragen, die nützliche Ergebnisse für die Endnutzer:innen generieren, um 30 Prozent erhöht. Salem hört von den Nutzer:innen auch, dass sie jetzt flexiblere Suchanfragen stellen können. „Sie müssen nicht genau die gleichen Begriffe wie in der Veröffentlichung verwenden. Auch bei Synonymen und umgangssprachlichen Begriffen werden relevante Ergebnisse zurückgegeben.“

Als junges Startup mit lediglich 8 Leuten war es für Consensus entscheidend, dass sie einen Partner zur Seite haben, der sie unterstützt. Salem dazu: „Unsere für das Elastic-Account Zuständige hat ihre Engineers und Expert:innen auf das Projekt eingeschworen. Beide Seiten sahen es als Chance an, eine neue Art von Suchmaschine mit der neuesten KI-Technologie zu entwickeln.“

Auch wenn das Unternehmen noch in den Kinderschuhen steckt, freuen sich Salem und der Rest des Consensus-Teams auf zukünftige Elastic KI-Versionen, insbesondere auf Funktionen für die Vektorsuche, die in Zukunft mit ELSER kombiniert werden können. „Elastic gibt bei der KI- und LLM-gestützten Suche Vollgas. Sie sind ein großartiger Partner, weil sie uns dabei unterstützen, stets an den Dingen dranzubleiben, die mit Technologie möglich sind“, so Salem.

Elastic ermöglicht es Consensus außerdem, im hart umkämpften Bereich der KI-gestützten Suche führend zu bleiben. Salem möchte nun über die wissenschaftliche Recherche hinausgehen und auch hochwertige Datenbestände und Expertenwissen außerhalb der Peer-Review-geprüften Fachveröffentlichungen mit einbeziehen. „Wir leben in einer Welt, in der es mehr denn je darauf ankommt, korrekte und präzise Informationen direkt aus der Quelle beziehen zu können. Elastic ist ein wichtiger Partner bei der Ausweitung unseres Suchangebots und diese Partnerschaft lässt uns hoffen, dass es uns gelingt, diesen Bedarf zu decken“, zeigt sich Salem optimistisch.