Wir präsentieren die Elasticsearch Relevance Engine™ – eine moderne Suche für die KI-Revolution

Heute präsentieren wir die Elasticsearch Relevance Engine™ (ESRE™) mit neuen Funktionen für die Erstellung extrem relevanter KI-Suchanwendungen. ESRE basiert auf dem technologischen Vorsprung von Elastic im Suchbereich und auf mehr als zwei Jahren Forschung und Entwicklung im Bereich Machine Learning. Die Elasticsearch Relevance Engine kombiniert die Stärken von KI mit der textbasierten Suche von Elastic. Mit ESRE erhalten Entwickler eine vollständige Suite aus komplexen Abrufalgorithmen und Integrationsmöglichkeiten mit umfangreichen Sprachmodellen (Large Language Model, LLM). Außerdem ist die Lösung über eine einfache und einheitliche API verfügbar, der die Elastic-Community bereits vertraut, und Entwickler in aller Welt können sofort damit anfangen, ihre Suchrelevanz zu verbessern.

Mit den konfigurierbaren Funktionen der Elasticsearch Relevance Engine können Sie die Relevanz Ihrer Suchfunktionen auf die folgenden Arten verbessern:

• Erweiterte Relevanzrangfolgenfunktionen anwenden, wie etwa BM25f, eine wichtige Komponente der Hybridsuche
• Dichteeinbettungen mit der Elastic-Vektordatenbank erstellen, speichern und durchsuchen
• Text mit einer Vielzahl von Aufgaben und Modellen für natürliche Sprache verarbeiten
• Entwicklern die Möglichkeit bieten, in Elastic eigene Transformationsmodelle für geschäftsspezifische Anwendungsbereiche zu nutzen und zu verwalten
• Integrationen mit externen Transformationsmodellen wie etwa GPT-3 und 4 von OpenAI per API erstellen, um intuitive Zusammenfassungen von Inhalten auf Basis der in Elasticsearch-Deployments konsolidierten Kundendatenspeichern abzurufen
• ML-gestützte Suchfunktionen ohne Modelltraining und -Pflege mit dem vorkonfigurierten Learned Sparse Encoder Model von Elastic für extrem relevante, semantische Suchfunktionen über eine Vielzahl von Fachgebieten hinweg anbieten
• Müheloses Kombinieren dichter und weniger dichter Abrufmethoden mit Reciprocal Rank Fusion (RRF), einer Hybrid-Bewertungsmethode, mit der Entwickler ihre KI-Suchmaschine für ihre einzigartige Mischung aus natürlicher Sprache und Schlüsselwortabfragen optimieren können
• Integrieren externer Tools wie etwa LangChain, um komplexe Datenpipelines und generative KI-Anwendungen zu erstellen

Die Weiterentwicklung von Suchmodellen wird durch einen ständigen Bedarf nach der Verbesserung von Relevanz und unseren Interaktionen mit Suchanwendungen vorangetrieben. Extrem relevante Suchergebnisse verbessern die Kundenbindung in Such-Apps mit signifikanten Downstream-Auswirkungen auf Erträge und Produktivität. LLMs und generative KI bieten heutzutage noch umfangreichere Suchfunktionen: Diese Modelle verstehen Nutzerabsichten und antworten mit beispielloser Genauigkeit.

Jeder Fortschritt in diesem Bereich liefert mehr Relevanz und löst neue Herausforderungen, die durch aufkommende Technologien und dynamisches Nutzerverhalten entstehen. Egal, ob wir die Schlüsselwortsuche erweitern, um semantische Sucherlebnisse bereitzustellen, oder ob wir neue Suchformen für Bilder und Videos entwickeln, neue Technologien erfordern einzigartige Tools, um den Nutzern ein besseres Erlebnis zu bieten. Analog dazu verlangt die heutige, von KI geprägte Welt nach einem neuen und extrem skalierbaren Entwickler-Toolkit, das auf einem Tech-Stack mit erprobten und von Kunden getesteten Funktionen basiert.

Angesichts der Präsenz von KI, der immer stärkeren Nutzung von Technologien wie ChatGPT und zunehmender Ausprägung von LLM-Funktionen brennen viele Entwickler darauf, diese neuen Technologien zur Verbesserung ihrer Anwendungen einzusetzen. Die Elasticsearch Relevance Engine eröffnet eine neue Generation an Möglichkeiten in der Welt der generativen KI und bietet leistungsstarke Tools, die allen Entwicklern sofort zur Verfügung stehen.

Die Elasticsearch Relevance Engine ist ab sofort auf Elastic Cloud verfügbar, dem einzigen gehosteten Elasticsearch-Angebot, das alle Funktionen und Merkmale der neuen Version enthält. Wenn Sie Ihre Lösungen lieber selbst verwalten möchten, können Sie auch den Elastic Stack und unsere Produkte für die Cloud-Orchestrierung (Elastic Cloud Enterprise und Elastic Cloud auf Kubernetes) herunterladen.

Mit der Elasticsearch Relevance Engine™ können sich Entwickler schnell weiterentwickeln und den Herausforderungen in den Bereichen natürliche Sprachverarbeitung begegnen, inklusive generativer KI.

1. Unternehmensdaten/Kontext: Das Modell hat möglicherweise nicht die erforderlichen internen Kenntnisse in einem bestimmten Fachbereich. Dieses Problem hängt mit dem Datensatz zusammen, mit dem das Modell trainiert wurde. Um die von LLMs generierten Daten und Inhalte anzupassen, müssen Unternehmen einen Weg finden, die Modelle mit proprietären Daten zu füttern, damit sie relevante und geschäftsspezifische Informationen liefern können.
2. Überragende Relevanz: Die Elasticsearch Relevance Engine erleichtert die Integration von Daten aus privaten Quellen: Sie müssen lediglich Vektoreinbettungen generieren und speichern, um Kontext mit der semantischen Suche abrufen zu können. Vektoreinbettungen sind numerische Darstellungen von Wörtern, Phrasen oder Dokumenten, mit denen LLMs die Bedeutung von Wörtern und deren Beziehungen zueinander verstehen. Diese Einbettungen verbessern die Ausgaben von Transformationsmodellen im Hinblick auf Geschwindigkeit und Skalierbarkeit. Mit ESRE können Entwickler außerdem ihre eigenen Transformationsmodelle in Elastic verwenden oder Modelle von Drittanbietern integrieren.
   
   Durch die zunehmende Nutzung von Late-Interaction-Modellen können wir diese Funktionen außerdem vorkonfiguriert und ohne umfangreiches Training oder Tuning mit Datensätzen von Drittanbietern bereitstellen. Nicht jedes Entwicklungsteam verfügt über die Ressourcen und Kenntnisse, um Machine-Learning-Modelle zu trainieren und zu warten oder um die Kompromisse im Hinblick auf Skalierbarkeit, Performance und Geschwindigkeit abschätzen zu können. Daher umfasst die Elasticsearch Relevance Engine auch den Elastic Learned Sparse Encoder, ein speziell für die semantische Suche in vielfältigen Domänen entwickeltes Abrufmodell. Dieses Modell kombiniert spärliche Einbettungen mit einer herkömmlichen, schlüsselwortbasierten BM25-Suche zu einem benutzerfreundlichen RRF-Bewertungsmodell (Reciprocal Rank Fusion) für die Hybrid-Suche. ESRE bietet Entwicklern vom ersten Tag an Relevanz und Hybrid-Suchtechniken mit Machine-Learning-Unterstützung.
3. Datenschutz und Sicherheit: Datenschutz ist ein entscheidendes Kriterium dafür, wie Unternehmen proprietäre Daten im Netzwerk und zwischen Komponenten nutzen und sicher übertragen. Dies gilt auch im Hinblick auf innovative Sucherlebnisse.
   
   Mit der nativen Unterstützung für rollen- und attributbasierte Zugriffssteuerung von Elastic können Sie sicherstellen, dass Ihre Daten nur für die passenden Rollen sichtbar sind, sogar in Chats und Anwendungen, in denen die Nutzer Fragen stellen können. Mit Elasticsearch können Sie dafür sorgen, dass bestimmte Dokumente für privilegierte Personen immer verfügbar sind. Auf diese Weise kann Ihr Unternehmen sämtliche Anforderungen in Bezug auf Datenschutz und Zugriffssteuerung über alle Suchanwendungen hinweg erfüllen.
   
   Bei besonders strengen Datenschutzanforderungen sind Unternehmen oft verpflichtet, dafür zu sorgen, dass die Daten das Unternehmensnetzwerk nicht verlassen. ESRE liefert die passenden Tools für den Schutz Ihrer Unternehmensdaten, egal ob Sie Deployments in physisch vom Netz getrennten Umgebungen implementieren oder den Zugriff auf sichere Netzwerke schützen müssen.
4. Größe und Kosten: Umfangreiche Sprachmodelle sind aufgrund der Anforderungen im Hinblick auf Datenvolumen, Rechenleistung und Arbeitsspeicher für viele Unternehmen unerschwinglich. Trotzdem müssen Unternehmen, die eigene generative KI-Anwendungen wie Chatbots erstellen möchten, LLMs mit ihren internen Daten kombinieren.
   
   Mit der Elasticsearch Relevance Engine können Unternehmen mühelos relevante Ergebnisse mit präzisen Kontextanforderungen liefern, um ihr Datenvolumen ohne großen Arbeits- und Kostenaufwand zu reduzieren.
5. Veraltet: Das Modell entwickelt sich nie über den Zeitpunkt hinaus, an dem die Trainingsdaten erfasst wurden. Darum sind die von generativen KI-Modellen erstellten Inhalte und Daten immer nur so aktuell wie die Daten, mit denen die Modelle trainiert wurden. Die Integration von Unternehmensdaten ist entscheidend, um zeitnahe Ergebnisse von LLMs zu erhalten.
6. Halluzinationen: Beim Beantworten von Fragen oder in Unterhaltungen kann es vorkommen, dass Modelle Informationen erfinden, die zwar vertrauenswürdig klingen, aber in Wirklichkeit nicht auf Fakten basieren. Dies ist ein weiterer Grund dafür, dass es für den Erfolg in einem geschäftlichen Kontext so wichtig ist, diese Modelle mit kontextbezogenem und maßgeschneidertem Wissen zu füttern.
   
   Mit der Elasticsearch Relevance Engine können Entwickler ihre eigenen Datenspeicher über ein Kontextfenster mit generativen KI-Modellen verknüpfen. Die zusätzlichen Suchergebnisse liefern aktuelle Informationen, die aus privaten Quellen oder speziellen Fachbereichen stammen können. Daher liefern diese Modelle genauere Antworten als Modelle, die nur das sogenannte „parametrische“ Wissen nutzen.