Was ist Log Analytics?

„Log Analytics“ ist der Begriff für den Prozess des Durchsuchens, Untersuchens und Visualisierens von Daten, die von IT-Systemen generiert wurden und als zeitsequenzierte Logs gespeichert werden. Log Analytics ergänzt das Log Monitoring um Funktionen, mit denen Teams Muster und Anomalien in der Umgebung ihrer Organisation ausfindig machen können. Das kann bei der schnellen Behebung von Anwendungs- und Systemproblemen helfen und operative Erkenntnisse bringen, die dazu beitragen, das Problem nicht erneut aufkommen zu lassen. Zur Gewinnung zusätzlicher Erkenntnisse kann Log Analytics auch auf historische Daten in archivierten Logs angewendet werden.

Das Aufkommen an Logdaten wächst exponentiell. Logging-Tools müssen in der Lage sein, mit dieser Flut von von Menschen und Maschinen generierten Daten mitzuwachsen, also zu skalieren. Herkömmliche Analytics-Tools sind mit Vielfalt und Volumen von Logdaten in den komplexen Systemen von heute überfordert. Ohne eine zentralisierte, robuste Logging-Plattform führt dies häufig zu immensen Herausforderungen (und Kosten). Daten sind der Schlüssel für das Verständnis, wie Ihre Geschäftsprozesse aktuell funktionieren, und Log Analytics kann Ihnen dabei helfen, die Zukunft zu planen.

Seitdem es von Computern generierte Datensätze gibt, versuchen Unternehmen, Logs zu lesen und zu nutzen. Aber Logs werden überall in Ihrem gesamten IT-Ökosystems generiert. Und viele von ihnen enthalten nicht alle Informationen, die benötigt werden, und auch das Format ist in der Regel nicht konsistent. In modernen Tools zentralisiert der Prozess der Loganalyse diese Informationen und bringt sie in ein leichter konsumierbares Format.

Da das Wachstum der Logdaten weiter anhalten wird, müssen Sie sich Gedanken darüber machen, wie Sie diese Informationen künftig speichern werden und wie Sie auf sie zugreifen möchten. Wenn es Ihnen gelingt, dieses Datenvolumen in den Griff zu bekommen, wird es auch einfacher, Logs für andere Zwecke wie Security, Betrugsbekämpfung, Anomalieerkennung und mehr zu nutzen. Log Analytics kommt in immer mehr Anwendungsfällen zum Einsatz: So ermöglicht sie beispielsweise die Analyse, wie Kund:innen auf Websites unterwegs sind und an welchen Stellen Nutzer:innen bei der Arbeit mit Anwendungen verzweifeln.

Loganalysen bestehen aus einer Handvoll von Hauptschritten.

1. Daten erfassen und zentralisieren

   Der erste Schritt ist, alle Logs an einem zentralen Ort zusammenzufassen. Wenn sich alles an einem Ort befindet, lässt es sich leichter analysieren. Nachdem alle Logs zentralisiert wurden, müssen sie aufgearbeitet (geparst) und indexiert werden. Logs erfassen Daten aus unterschiedlichsten Systemen, d. h., es kann Unterschiede bei den Namenskonventionen, bei den Formaten, beim Schema usw. geben. Daher ist es wichtig, die Terminologie zu standardisieren, um von Anfang an Klarheit zu schaffen und das Fehlerrisiko bei der Loganalyse zu reduzieren. Beschäftigen Sie sich zu diesem Zweck mit dem Aggregieren von Logdaten.

2. Daten analysieren

   Jetzt müssen Sie sich daran machen, Ihre Daten mithilfe von Abfragen zu durchsuchen und zu analysieren, um Muster zu erkennen. Je nach Software kann bei diesem Schritt ein Visualisierungs-Tool hinzugezogen werden. Reporting-Dashboards können helfen, Daten für Nutzer:innen ohne spezielle Fachkenntnisse bzw. außerhalb der Organisation zu aggregieren. Außerdem ist es mit ihnen einfacher, Trends und Anomalien zu finden, denn die Daten werden nicht in detaillierten technischen Protokollen, sondern in Form von leicht verständlichen Diagrammen präsentiert.

3. Monitoring und Alerts einrichten

   Für das Beheben von Problemen ist es wichtig, in der Lage zu sein, Logdaten zu analysieren. Den größten ROI bietet aber die Einrichtung von Echtzeit-Monitoring und ‑Alerting. So lassen sich zum Beispiel mit einer Korrelationsanalyse Meldungen aus unterschiedlichen Quellen aufspüren, die alle auf ein ganz bestimmtes Ereignis zurückgehen. Das System kann dann anhand der in Logs identifizierten Muster ermitteln, für welche Ereignisse Alerts eingerichtet werden müssen. Teams können sich in Echtzeit benachrichtigen lassen, sobald sich bei den Bedingungen etwas ändert. Dies sorgt für eine schnellere Wiederherstellung, denn auf diese Weise wissen die Teams genau, was, wo, wann und warum passiert ist und wie sich das auf die Performance ausgewirkt hat.

Informationen zu Best Practices für die Logverwaltung

Die Hauptnutzer:innen von Log-Analytics-Tools sind SREs, IT Operations, DevOps-Engineers und IT-Enterprise-Architekt:innen. Hinzu kommen Nutzer:innen und Betroffene in Organisationen, die Logs für Compliance-Audits analysieren müssen.

Logs enthalten die Antwort auf eine Vielzahl von Fragen zu den betrieblichen Abläufen. Teams können Logs für die folgenden Zwecke nutzen:

• Verbesserung der Customer Experience (und Reduzierung der Kundenabwanderung): Logs zeigen, wie Nutzer:innen mit der jeweiligen Anwendung interagieren. Das hilft Ihnen, bessere Entscheidungen zu treffen, die Kundenbindung zu erhöhen und den Kund:innen das Leben zu erleichtern.
• Verringerung von Ressourcennutzung und ‑latenz: Logs helfen Ihnen herauszufinden, wo in Ihrer Organisation Ressourcen nicht optimiert sind, und Performance-Probleme zu beheben.
• Ermitteln, wie sich die Kund:innen verhalten: Wofür interessieren sich die Kund:innen? Welche Kund:innen sind am aktivsten und welche Seiten besuchen sie? Logs bieten eine Gelegenheit, Informationen zu sammeln, damit Sie Ihre Verkaufs- und Marketingunterlagen personalisieren können.
• Aufspüren verdächtiger Aktivitäten: Kriminelle hinterlassen bei ihren Aktivitäten in Ihrer Organisation Spuren. Die Analyse ihres Verhaltens kann helfen, ihnen Einhalt zu gebieten, bevor sie Zugriff auf wertvolle Daten erhalten.
• Vorbereitung auf Compliance-Audits: Für Unternehmen, die sich an Standards, Normen und Regulierungsvorgaben halten müssen, gehören Audits zum Geschäft. Die Nutzung von Log Analytics kann einen Beitrag dazu leisten, die Audits zu bestehen.

Log Analytics ist auch mit Herausforderungen verbunden, zu denen u. a. die folgenden gehören:

• Skalieren: Je mehr Logdaten anfallen, desto größer werden die Herausforderungen für Teams. Viele Log-Analytics-Tools sind mit dem Prüfen von Enterprise-Logs überfordert, sodass immer mehr Organisationen in Richtung AIOps (AI for IT Operations) schauen, um diese Datenmengen zu bewältigen.
• Zentralisierung: Einer der größten Vorteile von Log Analytics besteht darin, dass eine zentralisierte Ansicht Einblicke in die Geschehnisse in der gesamten Organisation ermöglicht. Allerdings können Logdaten die unterschiedlichsten Formate haben und in Silos gefangen sein. Veraltete Architekturen sind häufig nicht in der Lage, mit modernen Tools zusammenzuarbeiten. Für eine einfache Analyse der Informationen ist es erforderlich, die Logs zu standardisieren.
• Kosten: Nicht alle Logdaten müssen immer sofort verfügbar sein, aber wenn sie einmal benötigt werden, dann sofort. Kostengünstiger Speicherplatz mit Daten-Tiers reduziert den Overhead.
• Unterschiedliche Datenformate: Logdaten sind so unterschiedlich wie moderne Anwendungen – verteilt auf mehrere Dienste und Systeme – komplex sind. Von strukturierten zu unstrukturierten Logdaten in den verschiedensten Infrastrukturen, Anwendungen und Diensten – für die Erstellung effizienter Abfragen müssen Sie in der Lage sein, Logdaten zu normalisieren und zu verstehen.

Gleich, ob APM, Ursachenanalyse oder SIEM – Log Analytics kann Ihnen dabei helfen, Ihr Geschäft zu revolutionieren. Aber Log Analytics kann auch noch in ganz anderen Bereichen hilfreich sein. Organisationen können Logdaten nutzen, um für Compliance mit Security-Richtlinien zu sorgen, das Verhalten der Online-Nutzer:innen zu untersuchen und insgesamt bessere Geschäftsentscheidungen zu treffen.

Wo Sie Ihre Logdaten speichern, hängt davon ab, wie lange Sie sofortigen Zugriff auf die Informationen benötigen und wie groß Ihre Datenbestände sind. Für die langfristige Speicherung bieten sich unter Umständen Amazon Simple Storage Service (S3), AWS Glacier oder Archivspeicher an. Sie können die Daten aber auch direkt in verteilten Speichersystemen speichern, die verschiedene Speicher-Tiers bieten, wie dies z. B. bei Elasticsearch der Fall ist. Bei der Entscheidung für ein Tool ist es wichtig, sich anzusehen, wie einfach es ist, die Daten für die Analyse zu „rehydrieren“. Bei einigen Tools kann es bis zu 24 Stunden dauern, bis Daten durchsuchbar sind.

Um Logs optimal nutzen zu können, benötigen Sie ein Log-Analytics-Tool, das Logs für spezifische Ereignisse zentralisieren und automatisch verarbeiten kann. Das ermöglicht es den Teams, tiefer gehende Analysen anzustellen, um nützliche Erkenntnisse gewinnen und anhand von Mustern Prognosen abgeben zu können. Das Tool muss sich außerdem gut skalieren lassen, um mit der schieren Menge von Logs zurechtzukommen, und so schnell sein, dass es die benötigten Antworten nicht in Minutenschnelle, sondern millisekundenschnell bereitstellen kann.

Aufbauend auf Elasticsearch bietet Elastic Observability als eines der meistgenutzten Tools zum Verwalten und Durchsuchen von Logs leistungsstarke und flexible Funktionen für die Logverwaltung und ‑analyse. Dabei spielt es keine Rolle, ob eine On-Premises- oder eine Elastic Cloud-Bereitstellung genutzt wird – Elastic lässt sich problemlos skalieren und kommt für Observability- oder Security-Initiativen auch mit petabytegroßen Logdatenbeständen für Fehlerbehebung und Erkenntnisgewinn zurecht.

Elastic bietet u. a. die folgenden Vorteile:

• einfache Bereitstellung für die unterschiedlichsten Anwendungsfälle
• Skalierbarkeit und Zuverlässigkeit (auch bei petabytegroßen Datenbeständen)
• Integrationen für Tools, die Ihre Teams bereits nutzen – plus in die Plattform integrierte innovative Machine-Learning-Funktionen
• Kostenreduzierung durch eine einfach gehaltene Daten-Tier-Strategie – Sie bezahlen nur, was Sie auch wirklich verbrauchen
• Zentralisierte Logverwaltung

Ganz gleich, ob Sie Log Analytics für Observability- oder Security-Zwecke nutzen möchten: Einmal ingestiert, können die Daten für alle denkbaren Einsatzzwecke verwendet werden.

Log Analytics mit Elastic

• Log Analytics mit Elastic Stack
• Log-Monitoring-Lösungen
• Kostenlose Log-Analytics-Schulung mit Elasticsearch und Kibana