Vom Konzept zur Realität: Elastic stellt neue, Pipe-basierte Abfragesprache vor: ES|QL

Für die Erkennung von Angriffen oder die Navigation durch Observability-Daten braucht es Funktionen zum Filtern, Durchsuchen, Transformieren und Aggregieren äußerst großer Datenmengen. Mit ES|QL können Sie all dies mit einer einzigen Abfrage tun.

Angetrieben von einer robusten Abfrage-Engine bietet ES|QL erweiterte Suchfunktionen mit paralleler Verarbeitung, sodass Nutzer:innen nahtlos Daten aus verschiedenen Datenquellen und ‑strukturen abfragen können.

Es erfolgen keine Übersetzungen oder Transpilationen in Query DSL. Stattdessen wird jede Abfrage in ES|QL zunächst aufgeschlüsselt, dann interpretiert und validiert und anschließend für eine bestmögliche Performance aufgewertet. Dann wird ein Prozess für die Ausführung der Abfrage auf verschiedenen Knoten innerhalb des Clusters festgelegt. Die Zielknoten bearbeiten die Abfrage und nehmen während der Ausführung mithilfe des von ES|QL bereitgestellten Frameworks Ad-hoc-Anpassungen am Ausführungsplan vor. Das Ergebnis sind blitzschnelle Abfragen – out of the box. Sehen wir uns zu Vergleichszwecken als Beispiel die nächtlichen Benchmark-Tests an.

Von den Features und Innovationen, die mit Elastic und Kibana® geliefert werden, profitieren alle Elastic-Lösungen: Search, Observability und Security. ES|QL verändert die User Experience bei diesen Lösungen grundlegend und bietet einen einfachen, aber leistungsstarken Workflow für die Datenuntersuchung.

ES|QL verändert grundlegend die Art und Weise, wie Analyst:innen Bedrohungen aufspüren, und es stärkt die Bedrohungserkennung. Die neue Abfragesprache, in deren Entwicklung umfangreiches Feedback aus der Community eingeflossen ist, nutzt das Potenzial von Pipe-basierten Abfragen, kombiniert es mit der Geschwindigkeit von Elasticsearch und verbessert damit die SIEM-, Endpoint-Security- und Cloud-Security-Fähigkeiten von Elastic Security.

• Schnelle und iterative Suche: Wichtig für das erfolgreiche Verfolgen von Anzeichen für eine aufkommende Bedrohung sind schnelles Handeln und eine Sprache, die einen iterativen Workflow ermöglicht.
• Anreichern von Ergebnissen mit Kontext: Mit ES|QL können Analyst:innen verdächtige IP-Adressen mit bekannten Threat-Intelligence-Datenbanken korrelieren, was sofortige Klarheit in Bezug auf potenzielle Bedrohungen schafft.
• Transformieren von Daten: ES|QL ermöglicht es Nutzer:innen, ihre Daten zu manipulieren, indem sie neue Felder definieren oder nicht normalisierte Daten parsen, um Daten klar und relevant zu machen.
• Aggregieren von Daten: Die Ergebnisse können konsolidiert und aggregiert werden, was den Weg für tiefere Analysen und Erkenntnisse ebnet.

Elastic ist die einzige Suchplattform, die die Effizienz einer Schema-on-Write-Architektur mit dem iterativen Sucherlebnis einer Pipe-basierten Schema-on-Read-Abfragesprache verbindet. Dank unglaublich schneller Suche – und maximaler Sichtbarkeit der Suchergebnisse – kommen Analyst:innen mit jeder weiteren Pipe ihrem Ziel ein Stück näher.

ES|QL verbessert auch die leistungsfähige Erkennungs-Engine von Elastic Security. Unternehmen können aggregierte Werte in die Erkennungsregeln einbeziehen, um der drohenden Alarmmüdigkeit vorzubeugen, die Relevanz von Alerts zu verbessern und eine weitere Möglichkeit zur Verhaltenserkennung zu bieten. Dank Inline-Evaluation lassen sich ES|QL-basierte Regeln iterativ entwickeln und verfeinern. Abfragen werden im Plaintext-Format formatiert, was die Zusammenarbeit vereinfacht und die Erkennung als Code (Detection as Code) unterstützt.

SREs, die Elastic Observability nutzen, können mit ES|QL Logs, Metriken, Traces und Profiling-Daten analysieren, sodass sie mit einer einzigen Abfrage Engpässe bei der Performance und Systemprobleme ermitteln können. Die Verwaltung von Daten mit hoher Dimensionalität und hoher Kardinalität mit ES|QL in Elastic Observability profitiert von den folgenden Vorteilen:

• Entfernen von Signalrauschen: Mit ES|QL-Alerting verbessert sich die Erkennungsgenauigkeit, weil nicht einzelne Sicherheitsvorfälle, sondern signifikante Trends im Vordergrund stehen. Das führt dazu, dass die Zahl der Fehlalarme sinkt und die gesendeten Benachrichtigungen verwertbare Erkenntnisse bieten. SREs können diese Alerts über die Elastic-API verwalten und sie in DevOps-Prozesse integrieren.
• Verbesserte Analyse mit Erkenntnissen: ES|QL kann Observability-Daten unterschiedlichster Art verarbeiten, einschließlich Anwendungs-, Infrastruktur-, Geschäftsdaten und viele mehr. Dabei spielen weder die Quelle noch die Struktur der Daten eine Rolle. ES|QL kann die Daten problemlos mit zusätzlichen Feldern und Kontext anreichern, sodass mit einer einzigen Abfrage ganze Visualisierungen für Dashboards oder Problemanalysen erstellt werden können.
• Geringere MTTR: Die Kombination aus AIOps und AI Assistant von Elastic Observability und ES|QL ermöglicht das Identifizieren von Trends, das Isolieren von Incidents und die Senkung der Zahl falsch-positiver Ergebnisse, sodass die Erkennungsgenauigkeit steigt. Diese Verbesserung des Kontexts erleichtert das Troubleshooting und die schnelle Lokalisierung und Lösung von Problemen.

ES|QL in Elastic Observability verbessert nicht nur die Fähigkeit von SREs, die Customer Experience, den Umsatz des Unternehmens und die SLOs effektiver zu verwalten, sondern erleichtert auch die Zusammenarbeit mit Entwicklungs- und DevOps-Teams, indem kontextualisierte, aggregierte Daten bereitgestellt werden.

Mit ES|QL können mit einer einzigen Abfrage Daten abgerufen, aggregiert, berechnet und transformiert werden. Nutzer:innen profitieren von wichtigen Funktionen wie der Möglichkeit, im Zuge der Abfrage Felder zu definieren, Datenanreicherungen vorzunehmen und Abfragen parallel zu verarbeiten. Mit ES|QL können Sie Ihre Daten auf die unterschiedlichsten Weisen kennenlernen und erkunden. Von der Nutzung von Clients für die direkte API/Code-Integration bis hin zur Visualisierung von Ergebnissen vom selben Bildschirm aus – ES|QL rationalisiert Ihre Datenuntersuchungen und sorgt dafür, dass Sie mühelos und einfach das Beste aus Ihren Datenbeständen herausholen. 

Die Orientierung von ES|QL auf das Design zeigt sich in der Fähigkeit, die Komplexität von Code zu reduzieren, was letztendlich Kosten und Zeit spart. Durch die einfachere Möglichkeit der Wiederverwendung von Suchergebnissen in nachfolgenden Suchen minimiert ES|QL den Rechenaufwand und macht komplizierte Skripte und redundante Abfragen überflüssig. ES|QL ist nicht nur eine API, sondern eine einfache und leistungsfähige Möglichkeit, Ihre Herangehensweise an die Suche zu verändern.

Die Zukunft der Datenerkundung und ‑manipulation beginnt jetzt. Elastic lädt Security Analysts, SREs und Entwickler:innen ein, diese transformative Sprache selbst zu erleben und neue Horizonte für ihre Datenaufgaben zu erschließen. Lernen Sie mehr über die Möglichkeiten mit ES|QL (derzeit als technische Vorschau erhältlich) oder probieren Sie Elastic kostenlos aus.

Die Entscheidung über die Veröffentlichung von Features oder Leistungsmerkmalen, die in diesem Blogpost beschrieben werden, oder über den Zeitpunkt ihrer Veröffentlichung liegt allein bei Elastic. Möglicherweise werden aktuell nicht verfügbare Features oder Funktionen nicht rechtzeitig oder gar nicht bereitgestellt.