Was ist Log Monitoring?

„Log Monitoring“ bezeichnet den Prozess des Erfassens und Analysierens von Logdaten aus verschiedenen Quellen, ergänzt um das Ergreifen entsprechender Maßnahmen. Die Logdaten können aus Anwendungen oder aus der Infrastruktur stammen – Computer, Netzwerk und Speicher. Entwicklungs- und Operations-Teams, die Logs überwachen, möchten damit Anomalien finden und feststellen, wo es im System Probleme gibt, um sie so effizient wie möglich zu lösen.

Damit Performance, Verfügbarkeit und Sicherheit gewährleistet bleiben, müssen die Entwicklungs- und Engineering-Teams die Logs kontinuierlich im Blick behalten. Dieser Prozess, „Log Monitoring“ genannt, erfolgt in Echtzeit, d. h. in dem Moment, in dem die Logs generiert werden.

Log Monitoring ist, zusammen mit dem Monitoring von Metriken und Traces, eine wichtige Komponente der Observability. Organisationen profitieren von Log Monitoring und einer robusten Log-Management-Software, weil deren Teams mit ihrer Hilfe Probleme aufdecken, angehen und beheben können, bevor sie sich auf die Kund:innen oder andere Nutzer:innen auswirken.

Logs (auch „Logdaten“, „Protokolldaten“ oder „Protokolle“ genannt) sind Informationen, die Systeme und Anwendungen während des laufenden Betriebs generieren. Dazu können Daten zu Systemereignissen, Fehlermeldungen, Performance-Metriken und Daten zur Nutzeraktivität gehören. So können Logs z. B. Informationen zu einem Fehler und zum Zeitpunkt des Auftretens des Fehlers enthalten, die es ermöglichen, den Fehler im Code zu finden und zu beseitigen. Jeder Logeintrag ist mit einem Zeitstempel versehen und zeigt ein Ereignis, das zu einem bestimmten Zeitpunkt aufgetreten ist.

Logs können Ereignisse aufzeichnen, die sich im Betriebssystem abspielen, wie Verbindungsversuche, Fehler und Konfigurationsänderungen. Diese Logs werden Systemlogs genannt.

Im Gegensatz dazu zeigen Anwendungslogs Informationen zu Ereignissen innerhalb des Anwendungssoftware-Stacks, vor allem in dedizierten Proxies, Firewalls und anderen Softwareanwendungen. Diese Arten von Logdaten zeichnen Softwareänderungen, CRUD-Operationen, Anwendungsauthentifizierungen und mehr auf.

Log Monitoring ist keine neue Erfindung. Während die meisten Entwickler:innen ihre Logdaten heute mit Observability-Tools überwachen, mussten die Logs früher manuell geprüft werden. In den Anfangstagen von Unix griffen die Entwickler:innen zu Text- und Suchtools, um in ihren Logdateien Informationen zu finden.

Die Vorstellung, Logs manuell prüfen zu müssen, ist inzwischen undenkbar geworden. Die Datenmengen sind einfach viel zu groß, um von Menschen verstanden zu werden. Logs müssen schnell geprüft werden, um Probleme beseitigen zu können, bevor sie die geschäftlichen Abläufe zu bremsen beginnen. Glücklicherweise ist die Branche bei der Automatisierung großer Teile des Log Monitorings in den letzten Jahren gut vorangekommen, sodass sich die wachsenden Datenmengen immer besser beherrschen lassen.

Organisationen steht heute eine Vielzahl robuster Tools für ein effektives Log Monitoring zur Verfügung. Angesichts der Komplexität moderner Systeme mit einer Vielzahl von gegenseitig abhängigen Anwendungen, die alle überwacht werden müssen, geht es auch gar nicht mehr anders. Log-Monitoring-Tools bieten inzwischen die Möglichkeit, Daten an einem zentralen Ort zusammenzufassen und zu speichern, sowie Automatisierungsfunktionen, was für Organisationen mit Anwendungen in verteilten Clouds unabdingbar ist.

Wenn im System und in den Anwendungen alles glattläuft, könnte man auf die Idee kommen, dass es nicht nötig ist, Ereignislogs zu prüfen und zu überwachen, aber ein effektives Log Monitoring ist für Organisationen immens wichtig.

Falls es doch einmal zu Problemen kommt, müssen die Teams in der Lage sein, sich den Sachverhalt genau anzusehen und Logdaten zu prüfen, um die konkreten Ereignisse und Instanzen festzumachen, die für die Probleme verantwortlich sind. Nachdem Anomalien identifiziert worden sind, können sich die Teams daran machen, die Probleme zu beheben. So sorgen sie dafür, dass ihre Systeme immer sicher sind und die Endnutzer:innen stets das bekommen, was sie erwarten.

Ohne robustes Log Monitoring tappen die Teams im Dunkeln, können die Performance und die Verfügbarkeit der Systeme und Anwendungen nicht überwachen und sind zudem unfähig, eine herausragende Customer Experience zu bieten – das bringt angesichts des verteilten Charakters von Cloud-Anwendungen ganz eigene Komplexitäten und Risiken mit sich. Wo so viele Daten fließen, brauchen Organisationen robuste Log-Monitoring-Funktionen, um ihr Geschäft unter Kontrolle zu behalten.

Dass Log Monitoring wichtig ist, liegt auf der Hand, aber warum ist es besonders bei Enterprise-Systemen und ‑Anwendungen so bedeutend? Enterprises, also große Unternehmen, verarbeiten und generieren in der Regel riesige Mengen von Logdaten. Zur Bewältigung des Datenwachstums benötigen sie Log-Monitoring-Funktionen, die robust sind und die Performance und Verfügbarkeit von Systemen und Anwendungen überwachen können. Nur so lässt sich ein positives Nutzungserlebnis sicherstellen.

Die folgende Liste enthält einige der wichtigsten Vorteile des Enterprise-Log-Monitorings:

Zentralisierung von Daten für Transparenz bis in den letzten Winkel

Moderne Log-Monitoring-Tools ermöglichen zentralisiertes Logging. Entwickler:innen können von einem zentralen Ort aus auf alle System- und Anwendungslogdaten zugreifen. Diese Zentralisierung erlaubt sofortige Einblicke in den Systembetrieb, ohne dass sich die Entwickler:innen dazu in verschiedenen Systemen zurechtfinden müssen. Da alles zentralisiert ist, kann schneller und effizienter auf Probleme reagiert werden, was Zeit und Ressourcen spart.

Schnelleres Reagieren auf Probleme

Wenn Logdaten automatisch überwacht werden und über eine zentrale Lösung zugänglich sind, lassen sie sich viel einfacher prüfen. So können Probleme erkannt und Unstimmigkeiten jeder Art schnell gelöst werden. Schnelles Handeln ist wichtig, damit die Endnutzer:innen nicht unter Problemen leiden müssen. Es ist aber auch aus Security-Sicht wichtig, denn jede Kompromittierung oder Sicherheitslücke muss unverzüglich angegangen werden, um Risiken zu reduzieren.

Automatisieren, um Zeit zu sparen

Unternehmen müssen sich einer stetig höher werdenden Welle von Logs erwehren, die immer schwerer zu verarbeiten sind. Log-Monitoring-Tools bieten die Möglichkeit, Logs nicht nur zu überwachen, sondern auch Probleme automatisch kennzeichnen oder korrigieren zu lassen. Diese automatisierten Funktionen, die immer besser werden, sparen viel beschäftigten Teams sehr viel Zeit.

Verwenden von Logs sowohl für Observability- als auch für SecOps-Zwecke

Wenn Logs an einem zentralen Ort gespeichert sind, kann das Log Monitoring für mehr als nur einen Zweck genutzt werden. Moderne Unternehmen können dieselben Logs sowohl für Observability- als auch für Security-Operations-Zwecke verwenden und so nicht nur Workflows optimieren, sondern auch Zeit für die separate Erstellung von Tools sparen.

Informationen zu Best Practices für die Logverwaltung

Logdaten werden zwar schon seit Jahrzehnten überwacht, aber das geschieht vielerorts immer noch eher unsystematisch und unter Nutzung althergebrachter Herangehensweisen und Plattformen. Wer aber im Angesicht der immer größeren Datenbestände heute wettbewerbsfähig bleiben möchte, wird sich der Herausforderung stellen und neue Tools für das Log Monitoring verwenden müssen.

Im Folgenden haben wir einige der größten Herausforderungen für die Durchführung von Log Monitoring zusammengefasst:

Mehr Komplexität denn je

Technologie ist immer komplexer geworden und es werden heute mehr Daten als je zuvor generiert, verarbeitet und gespeichert. Durch den Aufstieg der Cloud gibt es mehr Systeme mit virtuellen und kurzlebigen Objekten, die virtuelle Logdaten erstellen. All dies bedeutet mehr Logs und mehr Daten, was das Log Monitoring erschwert. Organisationen benötigen bessere, robustere Tools, um Logs auswerten zu können.

Immer mehr Logdaten und größere Formatvielfalt

Nicht nur die Menge der Logdaten ist exponentiell gewachsen, auch die Zahl der Formate, in denen sie aufgezeichnet werden, hat zugenommen. Logdaten werden von den vielfältigsten Systemen generiert und diese Daten können sowohl strukturiert als auch unstrukturiert sein – es gibt kein einheitliches Format. Das bedeutet, dass Observability-Expert:innen mit erheblichem Ressourceneinsatz entschlüsseln müssen, was die Daten bedeuten. Um ihre Logdaten effektiv überwachen zu können, stehen Organisationen vor der Aufgabe, sie in ein standardisiertes Format zu bringen.

Althergebrachte Datensilos

Viele Unternehmen arbeiten nach wie vor mit verteilten Systemen, statt auf Zentralisierung zu setzen. Das führt nicht nur zu hohen Kosten, weil noch mehr Daten anfallen, sondern es bringt auch unnötige zusätzliche Arbeit für Entwicklungs- und Operations-Teams mit sich.

Manuelles und unsystematisches Arbeiten mit alten Systemen

Auch wenn der Einsatz von Log-Monitoring-Plattformen voranschreitet, sind doch noch viele Herangehensweisen viel zu manuell. Dieses manuelle Arbeiten ist zeitaufwendig, fehleranfällig und oftmals veraltet – und setzt die Organisation damit unnötigen Risiken aus. Zuweilen ist das Vorgehen auch recht unsystematisch, sodass Probleme unentdeckt bleiben.

Logdaten werden von vielen unterschiedlichen Systemen und Geräten generiert. In großen Unternehmen kommt das Log Monitoring im Wesentlichen für die folgenden Zwecke zum Einsatz:

Netzwerk-Monitoring

Netzwerkgeräte wie Firewalls, Switches, Router und Lastverteiler generieren Logdaten, die dann überwacht werden müssen.

Infrastruktur-Monitoring

Mit Log Monitoring für Infrastruktur können On-Premises- und Cloud-Lösungen wie Virtual Machines, Plattformen wie AWS oder Azure, Container-Plattformen wie Kubernetes, Drittanbieter-Datenquellen und Open-Source-Software überwacht werden.

Anwendungs-Monitoring

Log Monitoring für Anwendungen dient typischerweise zur Überwachung zweier Arten von Anwendungsdaten: (1) Daten dazu, wie die Endnutzer:innen die Anwendung erleben, und (2) Daten zu den Diensten innerhalb verteilter Anwendungen. Die Überwachung von Anwendungen ist wichtig, weil die Performance der Anwendungen Auswirkungen auf die User Experience haben kann. So kann z. B. ein Ausfall von Diensten dazu führen, dass die Kund:innen der Website oder App den Rücken kehren. Datenbanken gelten hier auch als Anwendungen.

Compliance

Unternehmen sind rechtlich verpflichtet, bestimmte Arten von Daten aufzubewahren. Zur Aufrechterhaltung ihrer Compliance müssen sie Logdaten für vorgegebene Zeiträume speichern. Damit steht ihnen ein Satz historischer Daten zur Verfügung, der wertvolle Informationen enthält, die für die Fehlersuche und ‑behebung hilfreich sein können.

Unternehmen, die Log Monitoring betreiben möchten, brauchen eine Plattform, die ihre Teams produktiver und effizienter macht. Bei der Auswahl einer Log-Monitoring-Lösung sollten Sie u. a. auf die folgenden Dinge achten:

Zentralisierte Daten

Angesichts der großen Mengen von anfallenden Logdaten der unterschiedlichsten Art und aus den verschiedensten Quellen benötigen Sie eine Plattform, die die Daten an einem Ort zusammenfasst. Eine zentralisierte Ansicht erleichtert es ungemein, Logdaten effizient zu prüfen und zu analysieren.

Relevantes Alerting

Das Aufspüren von Fehlerbedingungen und der Musterabgleich sind nur der erste Schritt. Log Monitoring funktioniert nur dann effektiv, wenn Sie beim Auftreten von Anomalien in Logdaten benachrichtigt werden und entsprechende Maßnahmen einleiten können. Eine effektive Plattform muss in der Lage sein, die Daten zu filtern und Log-Monitoring-Alerts zu priorisieren, damit die IT-Operations-Teams wissen, was sofort angegangen und untersucht werden muss. Die Fähigkeit, das Monitoring mit AIOps und Machine Learning aufzuwerten, hilft, der Alarmmüdigkeit bei Endnutzer:innen entgegenzutreten.

Kostengünstig oder mit bewährtem ROI

Bei Ihrer Entscheidung für ein Tool sollten Sie nicht danach schauen, welches das billigste ist, sondern danach, welche Plattform wirklich kostengünstig ist bzw. bei welcher sich gezeigt hat, dass sie einen guten ROI bietet. Es lohnt sich, eine Kostenanalyse durchzuführen, die Aufschluss darüber gibt, welche Kompromisse sie bei den verschiedenen zur Wahl stehenden Lösungen eingehen müssen.

Observability-Lösung nicht nur fürs Log Monitoring

Log Monitoring ist nur eine Komponente der Observability. Für ein optimales Preis-Leistungs-Verhältnis sollte Ihre Lösung auch die anderen Observability-Aspekte abdecken. Log Monitoring zeigt nur einen Teil des großen Ganzen.

Im Folgenden finden Sie einige der wichtigsten Fragen und Antworten zum Log Monitoring.

Was ist der Unterschied zwischen Log Monitoring und Log Analytics?

Log Monitoring und Log Analytics sind eng miteinander verwandt und arbeiten zusammen, damit das reibungslose Funktionieren der Systeme sichergestellt ist. Beim Log Monitoring geht es um die Verfolgung und Überwachung von Logdaten, während Log Analytics zusätzliche Kontextinformationen bereitstellt, damit Teams entscheiden können, wie weiter vorzugehen ist.

Welche Best Practices gibt es für das Log Monitoring?

Organisationen, die Log Monitoring in großem Maßstab betreiben, brauchen ein Enterprise-System, das die Logverwaltung an einem zentralen Ort zusammenführt. Diese Systeme müssen in der Lage sein, die großen Mengen von Logdaten zu bewältigen, die komplexe Systeme generieren. Außerdem sollten sie mit einem abgestuften System für die Datenspeicherung (Daten-Tiers) arbeiten, um die laufenden Kosten möglichst gering zu halten.

Als eine der anerkannt führenden Lösungen im Bereich Log Monitoring bietet Elastic Observability, unterstützt von der Elasticsearch-Engine, leistungsstarke und flexible Log-Monitoring-Funktionen. Dabei spielt es keine Rolle, ob eine On-Premises- oder eine Elastic Cloud-Bereitstellung genutzt wird – Elastic lässt sich problemlos skalieren und kommt für Observability- oder Security-Initiativen auch mit petabytegroßen Logdatenbeständen zurecht, um Teams bei der schnellen Behebung von Problemen zu helfen. Elastic bietet u. a. die folgenden Vorteile:

• Einfache Bereitstellung für die verschiedensten Anwendungsfälle
• Skalierbarkeit und Zuverlässigkeit, egal, wie groß die Datenbestände sind
• Integrationen für die Tools, mit denen Ihre Teams eh schon arbeiten – plus integrierte Machine-Learning-Funktionen
• Kostenreduzierung durch eine einfach gehaltene Daten-Tier-Strategie – Sie bezahlen nur, was Sie auch wirklich verbrauchen
• Zentralisierte Logverwaltung

Die flexiblen Speichermöglichkeiten von Elastic ermöglichen nicht nur Monitoring und Alerting, sondern auch die Pflege historischer Logdaten, die für zukünftige Analysen, Untersuchungen und Discovery-Zwecke eingesetzt werden können. Ganz gleich, ob Sie Log Monitoring für Observability- oder für Security-Zwecke nutzen möchten: Einmal ingestiert, können die Daten für alle denkbaren Einsatzzwecke verwendet werden.

Log Monitoring mit Elastic

• Technischer Leitfaden fürs Log Monitoring
• Webinar zu Best Practices für die Logverwaltung
• Kostenlose Log-Analytics-Schulung mit Elasticsearch und Kibana 
• Blogpost zur Überwachung von Java-Anwendungen mit Elastic
• Kubernetes-Observability-Tutorial: Überwachen und Analysieren von Logdaten