Was bedeutet Anomalieerkennung?

Bei der Anomalieerkennung werden Datenpunkte in einem Datensatz oder einem System identifiziert, die von der Norm abweichen. Bei der Datenanalyse oder beim Machine Learning markiert die Anomalieerkennung Instanzen, die von den üblichen Mustern oder statistischen Modellen im Großteil Ihrer Daten abweichen. Anomalien können als Ausreißer, unerwartete Änderungen oder Fehler auftreten, je nachdem, welche Art von Daten Sie analysieren und ob Sie vordefinierte Parameter festgelegt haben. Die Anomalieerkennung ist hilfreich, weil Sie potenzielle Probleme oder Bedrohungen schnell beheben und die Integrität und Zuverlässigkeit Ihres Systems erhalten können.

Die Anomalieerkennung ist in der Lage, verschiedene Arten von Anomalien zu erkennen. (Diese Kategorien schließen einander nicht gegenseitig aus. Anomalien können Eigenschaften aus mehreren Kategorien gleichzeitig aufweisen.)

• Punktanomalien sind einzelne Datenpunkte, die signifikant vom Rest des Datensatzes abweichen. Ein mögliches Beispiel für eine Punktanomalie ist eine plötzliche hohe Kreditkartenabbuchung, die für den jeweiligen Karteninhaber von der Norm abweicht und als potenzieller Kreditkartenbetrug markiert wird.
• Kontextbezogene Anomalien treten auf, wenn das normale Verhalten eines Datenpunkts stark vom Kontext abhängt. Stellen Sie sich beispielsweise eine Einzelhandels-Website vor, die am Black Friday, dem umsatzstärksten Tag des Jahres, einen starken Anstieg von Datenverkehr und Verkäufen verzeichnet. Ein solcher Anstieg wäre zu anderen Jahreszeiten eine Anomalie, daher werden für diesen Tag spezielle Parameter festgelegt.
• Kollektive Anomalien sind eine Gruppe von Datenpunkten, die in Kombination ein ungewöhnliches Verhalten zeigen, obwohl jeder einzelne Datenpunkt für sich normal aussieht. Um diese Anomalien zu identifizieren, werden die Beziehungen oder Muster zwischen mehreren Datenpunkten beobachtet. Ein Beispiel für eine kollektive Anomalie ist ein DDoS-Angriff, bei dem Datenverkehr von verschiedenen Quellen generiert wird, der von normalen Datenverkehrsmustern abweicht.
• Zeitliche Anomalien und Zeitreihenanomalien treten auf, wenn Abweichungen in einer zeitlichen Abfolge von Daten vorkommen, wie etwa eine Abfolge von Ereignissen oder saisonale Veränderungen. Mögliche Beispiele für zeitliche Anomalien sind eine Verschiebung der Spitzensaison für Touristen an einem Ferienort, ungewöhnliche Wetterphänomene zu einer bestimmten Jahreszeit oder ein hohes Verkehrsaufkommen außerhalb der Stoßzeiten.
• Räumliche Anomalien und geografische Anomalien sind ungewöhnliche Abweichungen in räumlichen oder geografischen Daten. Diese Anomalien werden durch die Beobachtung der räumlichen Beziehungen zwischen Datenpunkten ermittelt. In öffentlichen Gesundheitsdaten wäre beispielsweise eine ungewöhnlich hohe Konzentration von Krankheitsfällen in einem bestimmten Gebiet eine räumliche Anomalie, die als lokaler Ausbruch untersucht werden sollte.

Die Anomalieerkennung ist wichtig, weil sie beim Erkennen ungewöhnlicher Muster, Verhaltensweisen oder Ereignisse hilft, die zu Problemen führen können. Ihr Unternehmen kann sich über potenzielle Risiken, Effizienzmängel und Anomalien in sämtlichen Systemen und Datensätzen benachrichtigen lassen, die Sie für die Überwachung ausgewählt haben. Auf diese Weise erhalten Sie alle notwendigen Informationen, um schnell und proaktiv eingreifen zu können, bevor die Probleme eskalieren. Wenn Sie all diese Anomalien in den verschiedenen Unternehmensbereichen im Blick behalten, können Sie für reibungslose Abläufe sorgen, Verbesserungspotenzial identifizieren und sich vor internen und externen Angriffen schützen.

Bei der Anomalieerkennung wird zunächst ein Baseline-Verhaltensprofil erstellt. Dieses Profil bildet die erwarteten Muster und Verhaltensweisen der Daten ab, wenn alles erwartungsgemäß funktioniert. Dazu werden meistens historische Daten oder eine repräsentative Probe des normalen Verhaltens verwendet.

Sobald das normale Verhaltensprofil erstellt wurde, können neu hereinkommende Daten mit diesem Profil verglichen werden. Die Datenpunkte werden ausgewertet, und ihre Übereinstimmung mit den erwarteten Eigenschaften des normalen Verhaltensprofils wird gemessen. Alle Datenpunkte, die signifikant davon abweichen, werden als Anomalien markiert. (Diese Abweichungen können mit verschiedenen statistischen Techniken, Machine-Learning-Algorithmen oder regelbasierten Ansätzen identifiziert werden, die wir uns im nächsten Abschnitt genauer ansehen werden.)

Anschließend werden erkannte Anomalien genauer untersucht, um deren Ursachen und Auswirkungen zu ermitteln. Es ist wichtig, erkannte Anomalien zu validieren, um falsch positive Ergebnisse sowie durch Messfehler oder zufällige Schwankungen verursachte Ausreißer auszuschließen. Nachdem die Anomalien verifiziert wurden, können Maßnahmen ergriffen werden. Mögliche Maßnahmen sind weitere Untersuchungen, Wartungs- oder Reparaturarbeiten, Sicherheitsmaßnahmen, Qualitätskontrolländerungen oder andere Schritte, um die Auswirkungen zu minimieren.

Die meisten Anomalieerkennungstechniken sind entweder regelbasiert oder Machine-Learning-basiert. Letztere können in drei Machine-Learning-basierte Gruppen unterteilt werden: beaufsichtigte, unbeaufsichtigte und teilweise beaufsichtigte Techniken. Die Wahl der richtigen Technik hängt von den spezifischen Anforderungen des zu lösenden Problems und von der Menge der beschrifteten Daten ab.

Beaufsichtigte ML-Anomalieerkennungstechniken benötigen beschriftete Daten, in denen normale und ungewöhnliche Instanzen beim Training klar markiert sind. Dieses Modell lernt die Muster normaler Daten kennen und klassifiziert anschließend neue Datenpunkte auf Basis des Trainings entweder als normal oder als Anomalie.

Unbeaufsichtigte ML-Anomalieerkennungstechniken benötigen keinen beschrifteten Daten. Diese Techniken gehen davon aus, dass Anomalien selten vorkommen und signifikant vom Rest der Daten abweichen. Diese Techniken identifizieren ungewöhnliche Muster, Ausreißer oder Abweichungen vom normalen Verhalten.

Teilweise beaufsichtigte ML-Anomalieerkennungstechniken verwenden eine Kombination aus beschrifteten und unbeschrifteten Daten. Mit den beschrifteten Daten wird eine Baseline für das normale Verhalten hergestellt, um anschließend Abweichungen von der Baseline mit den unbeschrifteten Daten zu identifizieren. Diese Methode ist besonders hilfreich für unstrukturierte Daten.

Machine Learning wird zwar oft zur Anomalieerkennung verwendet, aber es ist wichtig zu erwähnen, dass dabei auch andere Techniken (statistische Methoden, regelbasierte Ansätze und Signalverarbeitungstechniken) zum Einsatz kommen. Diese nicht zum Machine Learning gehörenden Techniken nutzen andere Prinzipien und Algorithmen, um Anomalien in den Daten zu identifizieren.

Die Anomalieerkennung kann zu vielerlei Zwecken in verschiedenen Bereichen eingesetzt werden. Hier sind einige mögliche Anwendungsfälle:

• Cybersicherheit: Die Anomalieerkennung kann ungewöhnliche Muster oder Verhaltensweisen im Netzwerkdatenverkehr, in System-Logs oder in Nutzeraktivitäten identifizieren. Auf diese Weise können Cyberbedrohungen wie Einbruchsversuche, Mal und Datenpannen erkannt werden.
• Anwendungs- und Systemüberwachung: Die Anomalieerkennung ist entscheidend zum Überwachen der Leistung von Anwendungen, Servern und Netzwerkinfrastrukturelementen. Sie ist hilfreich zum Vermeiden potenzieller Ausfälle, da Anomalien in Metriken wie Latenz, CPU-Nutzung und Speicherauslastung schnell erkannt und gemeldet werden.
• Betrugserkennung: Die Anomalieerkennung kann Kreditkartenbetrug und Identitätsdiebstahl aufdecken, indem abweichende Ausgabenmuster, Einkäufe an ungewöhnlichen Orten und andere verdächtige Aktivitäten erkannt werden.
• Hardwarewartung: Mit der Anomalieerkennung können Sie auch den Status Ihrer Hardware überwachen. Dies umfasst Faktoren wie die CPU-Temperatur, Lüftergeschwindigkeiten und Spannungspegel. Sie können Anomalien aufdecken, die auf bevorstehende Ausfälle hindeuten, um Reparaturen vorzunehmen, bevor es zu einem Ausfall kommt.
• Benutzerverhaltensanalysen: Mit der Anomalieerkennung können Sie Verhaltensmuster von Nutzern und Trends in Ihren Anwendungen, Websites und anderen Onlineplattformen analysieren, ohne Nutzerprofile erstellen zu müssen. Sie können ungewöhnliche Nutzerinteraktionen identifizieren und Sicherheitsmaßnahmen personalisieren.

Die Anomalieerkennung bietet zahlreiche Vorteile. Hier sind nur einige Beispiele, wie Ihr Unternehmen davon profitieren kann:

• Sie können Probleme früh erkennen, bevor schwerwiegende Folgen auftreten. Wenn Sie Anomalien früh identifizieren, können Sie Maßnahmen ergreifen, um Schäden oder Störungen abzuwenden.
• Die Anomalieerkennung ist entscheidend beim Identifizieren verdächtiger und potenziell bösartiger Aktivitäten, wie etwa Cyberangriffe oder Betrugsversuche. Sie können potenzielle Bedrohungen also schnell erkennen und Ihre Sicherheit verbessern.
• Die Anomalieerkennung kann Effizienzprobleme erkennen, indem nach Abweichungen von der optimalen Leistung eines Systems gesucht wird. Auf diese Weise können Sie Ihre Prozesse optimieren und neue Verbesserungsideen für Ihre Systeme entwickeln.
• Der Kundenservice profitiert, wenn Anomalien gefunden werden, die die Kundenzufriedenheit beeinträchtigen könnten, egal ob es um Dienstunterbrechungen oder einen ungewöhnlichen Anstieg an Kundenserviceanfragen geht, der auf ein Problem hindeuten kann.
• Die Machine-Learning-basierte Anomalieerkennung hat außerdem den Vorteil, dass Ihre Systeme rund um die Uhr überwacht werden können.
• Sie können sich sogar beim Einhalten von Vorschriften helfen lassen, indem Abweichungen von gesetzlichen Anforderungen und Branchenstandards erkannt werden.

Bei den verschiedenen Anomalieerkennungstechniken müssen bestimmte Einschränkungen und Herausforderungen beachtet werden. Hier sind einige Nachteile, die Sie beachten sollten:

• Beaufsichtigte Machine-Learning-Modelle benötigen unter Umständen große Mengen an beschrifteten Daten, um gut zu funktionieren. Wenn ein Anomalieerkennungsmodell mit unzureichenden Mengen an beschrifteten Daten trainiert wird, wird die Genauigkeit beeinträchtigt.
• Unpassende Schwellenwerte in einem Anomalieerkennungsalgorithmus können vielerlei Fehler in der Berichterstellung hervorrufen.
• Wenn ein Algorithmus mit einem inzwischen veralteten historischen Modell trainiert wurde, kann dies die Leistung des Modells beeinträchtigen. Die Aktualisierung von Modellen ist oft arbeits- und zeitaufwändig.
• Selbst mit exakten Schwellenwerten generieren Algorithmen manchmal falsch positive Ergebnisse (normale Datenpunkte werden als Anomalien markiert) oder falsch negative Ergebnisse (Anomalien werden nicht erkannt). Es ist schwer, ein Gleichgewicht zwischen diesen Fehlerarten zu finden, da eine Verringerung eines Fehlers oft zu einer Zunahme des anderen führt.
• Anomalieerkennungsalgorithmen sind oft empfindlich gegenüber verrauschten oder irrelevanten Daten. Dieses Problem kann mit Vorverarbeitungstechniken und anderen Methoden zur Rauschunterdrückung behoben werden.
• Skalierbarkeit ist manchmal eine Herausforderung, wenn die Anomalieerkennung auf große Datensätze oder Echtzeit-Streamingdaten angewendet wird. Möglicherweise benötigt Ihr Unternehmen mehr Computing-Ressourcen als aktuell verfügbar sind, um sämtliche Daten verarbeiten zu können.

Bei der Anomalieerkennung ist es wichtig, die Best Practices zu befolgen, um optimale Ergebnisse zu erhalten. Beachten Sie daher die folgenden Punkte:

• Bevor Sie anfangen, sollten Sie sich gründlich mit den Mustern und Eigenschaften Ihrer Daten vertraut machen.
• Erstellen Sie möglichst exakte Baseline-Muster oder Schwellenwerte für erwartete Verhaltensweisen. Sparen Sie nicht bei diesem Schritt, sonst werden Sie es später bereuen.
• Wählen Sie eine passende Anomalieerkennungstechnik für die Art von Daten aus, die Ihr Unternehmen generiert. (Bei Bedarf können Sie mehrere Techniken kombinieren.)
• Überwachen Sie die Leistung Ihres Anomalieerkennungssystems regelmäßig und aktualisieren Sie es, falls sich an den generierten Daten etwas geändert hat.
• Falls Sie Fragen haben, beziehen Sie diejenigen Mitglieder Ihres Teams ein, die sich mit der zu analysierenden Materie am besten auskennen. Diese Personen können ihnen helfen, die Ergebnisse genauer auszuwerten.

Elastic bietet Ihnen eine übersichtliche und benutzerfreundliche Oberfläche, die eine Vielzahl von Machine-Learning-Techniken einsetzt, um Ihre Daten intelligent und in Echtzeit zu analysieren. Die Anomalieerkennungsfunktionen von Elastic umfassen Schritt-für-Schritt-Workflows, mit denen Sie bessere Machine-Learning-Jobs erstellen können. Außerdem erhalten Sie Visualisierungen, mit denen Sie Ihren Anomalien und deren möglichen Ursachen auf den Grund gehen können, sowie eine zuverlässige Erkennung ungewöhnlicher Verhaltensweisen in Ihren unterschiedlichen Fachbereichen.

Erfahren Sie mehr darüber, was Elastic Machine Learning und Elastic Observability noch heute für Ihr Unternehmen tun können.

Kibana-Leitfaden: Anomalieerkennung

Erste Schritte mit der Anomalieerkennung

Anomalieerkennungsalgorithmen

Erkennen ungewöhnlicher Standorte in geografischen Daten