Neue Integration für Elastic und Amazon S3 Storage Lens: Einfache Verwaltung, Kostenkontrolle und weniger Risiken

blog-thumb-cloud-aws.png

Date und Anwendungen wachsen exponentiell und produzieren in rasantem Tempo Logs, Metriken und Traces. Die Speicher- und Verwaltungsanforderungen werden dadurch ebenfalls immer komplexer. Mit der neuen Integration für Elastic und Amazon Simple Storage Service (Amazon S3) Storage Lens erhalten Kunden eine vollständige organisationsweite Übersicht über ihre S3-Nutzung und ihre Aktivitätsmetriken, zusammen mit anderen AWS- und lokalen Datensätzen.

SREs und DevOps-Experten können jetzt die leistungsstarken Such- und Analysefunktionen der Elastic Search-Plattform nutzen – inklusive Dashboarding-Funktionen, integrierten Machine Learning-Analysen und schwellenwertbasierten Warnungen –, um Trends zu identifizieren und ihre Daten aus Amazon S3 Storage Lens mit anderen Leistungsindikatoren für die gesamte Umgebung zu korrelieren. Diese Einblicke können auch genutzt werden, um die Speicherkosten zu optimieren, indem häufig verwendete Objekte identifiziert und in einen kostengünstigeren Speicher migriert werden.

Lassen Sie uns die Elastic-Integration mit S3 Storage Lens und die mühelose Übertragung von S3 Storage Lens-Metriken nach Elastic Cloud etwas genauer betrachten.

Kristallklare Einblicke in die Speichernutzung

Amazon S3 ist eine kostengünstige und flexible Speicherlösung. In großen Organisationen ist es jedoch nicht immer einfach, die Nutzung und Kosteneffizienz von ständig wachsenden Speicher-Buckets zu optimieren. Mit Elastic können DevOps- und Infrastrukturteams ihre S3 Storage Lens-Metriken zusammen mit Sicherheitsereignissen, Anwendungsmetriken und Systemprotokollen anzeigen, aggregieren und analysieren, um fundierte Entscheidungen für die Speicheroptimierung zu treffen.

Elastic Observability bietet einheitliche Einblicke in das komplette Cloud- und lokale Ökosystem, damit die Nutzer Ereignisse in der gesamten Umgebung überwachen und darauf reagieren können. Elastic vereint Logs, Metriken und Traces im großen Stil in einem einzigen Stack mit Machine Learning, damit Sie Leistungsprobleme erkennen und die Ursachen identifizieren können, noch bevor die Endnutzer davon betroffen sind.

  • Nutzen Sie Metriken aus S3 Storage Lens zusammen mit anderen AWS-Datensätzen – wie etwa Amazon Elastic Compute Cloud (Amazon EC2) und Amazon S3 Glacier – sowie weiteren Cloud- und lokalen Datensätzen.
  • Mit der Zeitreihenmodellierung können Sie Anomalien in Ihren aktuellen Daten erkennen und Trends anhand von historischen Daten vorhersagen.
  • Lassen Sie sich benachrichtigen, wenn Metriken für den Amazon S3-Objektspeicher bestimmte Schwellenwerte innerhalb eines Zeitintervall über- oder unterschreiten. Mit Schwellenwertwarnungen erfahren Sie, ob Ihr Speicher überlastet oder unausgelastet ist, von der Organisationsebene bis hin zu einzelnen Amazon S3-Konten oder Buckets.
  • Behalten Sie Ihre Kosten im Blick und erfüllen Sie Budgetbeschränkungen, indem Sie archivierbare Objekte identifizieren, die in einen kostengünstigeren Speicher wie Amazon S3 Glacier oder Amazon S3 Glacier Deep Archive migriert werden können.
  • Optimieren Sie Leistung und Verfügbarkeit mit umfassenden Funktionen für Infrastrukturüberwachung, APM und Monitoring des Endbenutzererlebnisses, inklusive verteiltem End-to-End-Tracing, Fehlernachverfolgung, Kartografierung von Dienstabhängigkeiten, Uptime und API-Integrität.

Benutzer können die Integration zwischen Elastic und S3 Storage Lens direkt in der Kibana-Weboberfläche installieren und erhalten vorab erstellte Warnungen und interaktive Dashboards, mit denen Organisationen ihre Daten im Handumdrehen optimal nutzen können. Elastic bietet vielfältige Analyseoptionen, von anpassbaren vorab erstellten Dashboards und vollständig konfigurierbaren Dashboards bis hin zu spezifischen Benutzeroberflächen für einzelne Anwendungsfälle, die speziell für die Workflows bestimmter Fachexperten entwickelt wurden.

Neue Bedrohungen erkennen, untersuchen und bekämpfen

Da Elastic ein zentrales Schema und ein einziges Repository verwendet, können dieselben Observability-Daten aus S3 Storage Lens und andere Datensätze auch für erweiterte Erkennung und Abwehr (eXtended Detection and Response, XDR) verwendet werden, um die Erkennungszeit gegen null zu reduzieren. Elastic Security vereint SIEM und Endpoint-Security, damit Organisationen große Datenbestände aus verschiedenen Quellen ingestieren und aufbewahren, Daten länger speichern und durchsuchen und ihre Bedrohungsabwehr mit Erkennungsregeln und Machine Learning verbessern können. Eliminieren Sie Datensilos, reduzieren Sie die Alarmmüdigkeit und helfen Sie Ihrer Organisation, Bedrohungen schnell und in Cloud-gerechtem Umfang abzuwehren.

Daten, Protokolle und Metriken effektiv speichern

Viele Organisationen bewahren historische Daten auf, um Muster zu erkennen und ihre Betriebsstandards zu verbessern. Dabei fällt es jedoch oft schwer, Speicherkosten mit Anforderungen an die Erreichbarkeit der Daten zu vereinen. Wir haben gute Nachrichten: Mit Elastic können Organisationen große Mengen an historischen Daten vollständig aktiv und durchsuchbar in kostengünstigen Speicherlösungen wie Amazon S3 aufbewahren. Auf diese Weise können Organisationen ihre AWS- und lokalen Protokolle, Ereignisse und Metriken zu Nutzungs-, Analyse- und Compliancezwecken sicher aufbewahren. Bewahren Sie Ihre Daten mit beliebiger Granularität und über beliebige Zeiträume auf und skalieren Sie später parallel zum Datenwachstum. Datenverwaltung und Tiering werden mit Index-Lifecycle-Management- und automatische Skalierungsfunktionen automatisiert und an die Anforderungen der Organisation im Hinblick auf Datenleistung, Resilienz und Aufbewahrungsdauer angepasst.

Erste Schritte mit Elastic und Amazon S3 Storage Lens

Dieses Diagramm zeigt eine Referenzarchitektur, in der die Metriken aus mehreren S3 Buckets von Cloudwatch-Metriken nach Elastic Cloud übertragen werden.

Implementierungsschritte:

Gehen Sie in der Kibana-Benutzeroberfläche zu Management->Integrations und suchen Sie nach S3 Storage Lens. Klicken Sie auf die Integration für AWS S3 Storage Lens, um weitere Details anzuzeigen. Klicken Sie dann auf Add AWS S3 Storage Lens, geben Sie die entsprechende Konfiguration ein und klicken Sie auf Save integration.

Geben Sie alle Informationen ein, die erforderlich sind, um die AWS S3 Storage Lens-Metriken mit Agents zu erfassen. Die Integration unterstützt mehrere AWS-Anmeldemethoden, inklusive Zugriffsschlüssel, vorübergehende Sicherheitsanmeldeinformationen und ARN mit IAM-Rolle. Weitere Details zu den Themen Sicherheit und Berechtigungen finden Sie in der Dokumentation.

Die AWS S3 Storage Lens-Metriken werden alle 24 Stunden von AWS nach CloudWatch veröffentlicht. Die Elastic Agents erfassen die Daten standardmäßig einmal pro Tag oder je nach Agent-Konfiguration auch weniger häufig.

Navigieren Sie zum Kibana-Dashboard, um Ihre analysierten Daten im Dashboard [Metrics AWS] S3 Storage Lens Overview grafisch aufbereitet zu sehen. Im vorkonfigurierten Dashboard kann es bis zu 24 Stunden dauern, bis Daten angezeigt werden.

Erkunden Sie die gesammelten Metriken für verschiedene benutzerdefinierte Anwendungsfälle mit Kibana Lens.

Fazit

Sind Sie bereit, Ihre Betriebskomplexität zu reduzieren und die Daten in Ihrem Amazon S3-Objektspeicher zusammen mit anderen Protokollen, Metriken und Traces an einem einzigen, zentralen Ort zu analysieren? Diese optimierte AWS-Integration ist nur ein Beispiel für die fortlaufenden Innovationen, mit denen Elastic Ihnen ein reibungsloses Erlebnis bietet, damit Sie überall und frei nach Ihren Wünschen arbeiten können.

Weitere Informationen zu anderen AWS-Integrationen finden Sie in der Elastic-Integrationsbibliothek. Falls Sie noch nie mit Elastic und AWS gearbeitet haben, besuchen Sie den AWS Marketplace (Elastic) oder elastic.co.

Die Entscheidung über die Veröffentlichung der in diesem Dokument beschriebenen Leistungsmerkmale und Funktionen oder deren Zeitpunkt liegt allein bei Elastic. Es ist möglich, dass noch nicht verfügbare Leistungsmerkmale oder Features nicht rechtzeitig oder überhaupt nicht veröffentlicht werden.