Elastic stellt das Elastic Common Schema (ECS) für OpenTelemetry (OTel) bereit, um die Einführung von OTel-basierten Observability- und Sicherheitslösungen zu beschleunigen

Heutzutage erschweren es Daten aus verschiedenen Quellen mit unterschiedlichen Schemas oft, Softwareprobleme zu identifizieren und die genauen Ursachen zu ermitteln. Ein gemeinsames Schema vereinfacht die Normalisierung von Daten, um Analyse, Visualisierung und Korrelation der Daten in Observability- und Sicherheitslösungen zu verbessern und Ursachenanalysen zu beschleunigen. Um sicherzustellen, dass diese Standardisierung für unsere Kunden und die gesamte Community nutzbar ist, hat sich Elastic zur Entwicklung eines allgemeinen Schemas für Metriken, Logs, Traces und Sicherheitsereignisse auf Basis von Elastic Common Schema (ECS) und OpenTelemetry (OTel) verpflichtet.  

Elastic stellt ECS als Beitrag zu OTel bereit und verpflichtet sich zur gemeinsamen Entwicklung eines allgemeinen Schemas. OTel ist das Projekt mit der zweithöchsten Geschwindigkeit innerhalb der Cloud Native Computing Foundation (CNCF) und stellt eine Sammlung an Tools, APIs und SDKs bereit, mit denen die Nutzer Telemetriedaten (Metriken, Logs und Traces) generieren, erfassen, verarbeiten und exportieren können, um die Leistung und das Verhalten ihrer Software besser zu verstehen. Elastic setzt sich schon lang für offene Standards ein, und mit diesem Beitrag erweitern wir unser fortlaufendes Engagement für die Community. Der Beitrag des ECS zu OpenTelemetry hat das Ziel, ein ausgereiftes und erprobtes gemeinsames Schema für Metriken, Logs, Traces und Sicherheitsereignisse in OTel auf Basis des bereits weithin eingesetzten Elastic Common Schema bereitzustellen. Zusammen mit OTel werden wir dieses gemeinsame Schema auch in Zukunft weiterentwickeln und unterstützen.

Vorteile für die Open-Source-Community

Das ECS ist eine Open-Source-Spezifikation und wurde mit Unterstützung von der Elastic-Nutzer-Community entwickelt, um eine gemeinsame Reihe an Feldern für die Speicherung von Ereignisdaten in Elasticsearch zu definieren. Das ECS reduziert die durch Datenduplizierung entstehenden Verwaltungs- und Speicherkosten und verbessert die Betriebseffizienz.

Analog dazu definieren die semantischen Konventionen (SemConv) von OTel ebenfalls gemeinsame Namen für verschiedene Arten von Operationen und Daten. Die SemConv von OTel bieten den Vorteil, dass sie einem gemeinsamen Benennungsschema folgen, das die OTel-Nutzer in vielfältigen Codebases, Bibliotheken und Plattformen standardisieren können.

Die Zusammenführung von ECS und den SemConv von OTel haben das Ziel, die Nutzung von OpenTelemetry und die fortlaufende Weiterentwicklung und Zusammenführung der Observability- und Sicherheitsbereiche zu fördern. 

Selbstverpflichtung zu offenen Standards

Die gemeinsame Entwicklung eines allgemeinen Schemas hat das Ziel, anbieterneutrale semantische Konventionen für beliebte Systeme zu definieren. Von Anbietern erstellte oder Open-Source-Komponenten (z. B. HTTP-Zugriffs-Logs, Netzwerk-Logs oder Systemzugriffs-/Authentifizierungs-Logs) erweitern die OTel-Korrelation um diese neuen Signaltypen. Die ECS-Beitragenden haben bereits Vorarbeit geleistet und einheitliche semantische Konventionen definiert, die in OTel übernommen werden können.

Die Bereitstellung von ECS bringt zahlreiche Vorteile für das Ökosystem mit sich:

• Ein standardisiertes und einheitlich strukturiertes Format für anbieterspezifische Logs sowie Open-Source-Logs
• Die Nutzer erhalten sofort einsatzbereite Log-Integrationen, die von OTel-kompatiblen Observability-Produkten und -Diensten umfassend erkannt werden.
• Erweiterte OTel-Unterstützung für Infrastrukturelemente durch erstklassige Unterstützung für Kubernetes-Anwendungs-Logs, System-Logs und anwendungsspezifische Introspektions-Logs
• Eine standardisierte Observability-Telemetriedefinition für Anwendungen und Infrastrukturelemente für anbieterneutrale Observability

Mit der Integration des ECS in OTel können Autoren von OTel Collector Logs Receivers ihre Nachrichten mit umfassenderen Datendefinitionen anreichern, um die Datenqualität zu verbessern und den OTel Collector als branchenweiten De-Facto-Standard für die Log-Erfassung zu etablieren.

Das ECS unterstützt inzwischen die Anforderungen zahlreicher Nutzer für vielfältige Telemetrietypen und Anwendungsfälle. Mit der Einführung des ECS bietet OTel zahlreiche neue Vorteile für DevSecOps-Nutzer.

Elastic unterstützt bereits eine ständig wachsende Liste an CNCF-Projekten, wie etwa Kubernetes (K8S), Prometheus, Fluentd, Fluent Bit und Istio. Elastic Application Performance Monitoring (APM) bietet ebenfalls native Unterstützung für OTel, um sicherzustellen, dass sämtliche APM-Funktionen entweder für Elastic- oder OTel-Agents oder eine Kombination daraus verfügbar sind. Neben dem ECS-Beitrag und der andauernden Zusammenarbeit mit OTel SemConv hat Elastic noch weitere Beiträge zu anderen OTel-Projekten geleistet, inklusive Sprach-SDKs (z. B. OTel Swift, OTel Go und OTel Ruby), und beteiligt sich an mehreren Special Interest Groups (SIGs), um OTel als Standard für Observability und Security zu etablieren.

Wir freuen uns auf die engere Zusammenarbeit mit OTel und die Gelegenheit, die Schemas so zusammenzuführen, dass sowohl die Elastic-Community als auch die allgemeine OTel-Community davon profitieren.

Erfahren Sie mehr über die OpenTelemetry-Unterstützung von Elastic oder leisten Sie einen Beitrag zum Projekt. Weitere Details zu diesem spannenden Beitrag von ECS zu OpenTelemetry finden Sie in unseren FAQ.