Comcast nutzt Elastic Observability, um Customer Experiences zu transformieren

Die Comcast Corporation ist das größte multinationale Telekommunikationsunternehmen mit Sitz in den USA und gemessen am Umsatz das weltweit zweitgrößte Unternehmen für terrestrisches und Kabelfernsehen. Die Comcast-Marke Xfinity ist der größte Anbieter von Pay-TV-, Kabel-TV- und Internetdiensten in den USA.

Das Unternehmen, das bereits in den Anfangsjahren der Filmindustrie gegründet wurde, war schon immer ein Vorreiter in Sachen Technologie und Medien. Heute nutzt Comcast eine Reihe von komplexen Netzwerken sowie Hardware- und Software-Systemen, um über seine Marken wie NBCUniversal und die Streaming-Anwendung Peacock Inhalte zeitgemäß bereitzustellen.

Die Kund:innen nutzen die Comcast-Angebote, um sich zu informieren und unterhalten zu werden, und die Aufrechterhaltung der Verfügbarkeit dieser Inhalte genießt für Matt Dymek, VP, Software Strategy & Transformation, oberste Priorität. Dymek leitet die Dev Strategy Group des DevOps-Teams von Comcast, das für die Software und die Netzwerke verantwortlich ist, die 60 Millionen Kundenkonten, 100 Millionen Internetgeräte und 5 Millionen Mobilfunknutzer:innen unterstützen.

„Unsere Kund:innen erwarten, dass unsere Systeme immer und in Sekundenbruchteilen zur Verfügung stehen. Sie möchten, dass unsere Technologie weiß, was sie möchten, und vorhersagen kann, was als Nächstes auf ihrer Watchlist steht. Das bedeutet für unsere Umgebungen, dass sie immer komplexer werden“, so Dymek.

Neben der Sicherstellung der ständigen Verfügbarkeit ist das Team von Dymek für Innovationen verantwortlich, die es Comcast ermöglichen, sich in einer hart umkämpften Branche abzuheben. Vor Kurzem hat es eine sprachgesteuerte Fernbedienung entwickelt, mit der die Zuschauer:innen den Kanal wechseln oder ihre Lieblingsserie aufrufen können, ohne einen Finger zu rühren.

Seine marktführende Position kann Comcast nur verteidigen, wenn es dem Unternehmen gelingt, ständig neue Innovationen zu entwickeln und diese schnell bereitzustellen. „Neue Features zu entwickeln, ist nicht die einzige komplizierte Aufgabe“, weiß Dymek. „Es ist fast unmöglich zu wissen, wie sich in der Produktion dann alles fügen wird, geschweige denn die Performance unter einer Produktionslast zu prognostizieren.“

Hier kann Elastic Observability einen wichtigen Beitrag leisten. Elastic ingestiert jeden Tag ca. 400 Terabyte Telemetriedaten und ermöglicht es Comcast damit, die Daten von etwa 70 Tenants in seiner IT-Infrastruktur zu aggregieren, zu korrelieren und zu untersuchen.

„Bei über 50.000 Software-Builds pro Tag ist es wichtig, sich von einer zentralen Stelle aus einen Überblick über alle Vorgänge bei unseren Diensten verschaffen zu können. Elastic hilft uns zu sehen, was bei uns vor sich geht – von der Anwendungsschicht bis hinunter zu unserer Hardware. Wir können sehen, wie sich Änderungen auswirken und wie sie das gesamte System beeinflussen.“

Dymek sieht diesen Prozess als Teil des aktuellen „Shift-Left“-Trends in DevOps. Einfach ausgedrückt, ermöglicht er es den Entwicklungsteams, die Effizienz im Softwareentwicklungsprozess zu steigern und die Produktqualität zu verbessern, indem Probleme bereits in einem früheren Stadium erkannt werden.

„Mit den Erkenntnissen aus Elastic können wir kleine, gezielte Deployments unserer Software bereitstellen und unseren Engineers direktes Feedback geben, damit sie schnell reagieren und die Änderungen vornehmen können, die erforderlich sind, damit der Dienst in der Produktion funktioniert.“

Zu den grundlegenden Aspekten des Elastic Observability-Deployments bei Comcast gehört die Datenkonsistenz. Das Unternehmen hat einen Logging- und Metriken-Standard entwickelt, der auf dem Elastic Common Schema (ECS) aufbaut und einen gemeinsamen Satz von Feldern, deren Datentypen, zulässigen Werten und eine Verwendungshierarchie für ingestierte Daten definiert. Das ECS bringt zudem alle im Elastic Stack verfügbaren Analysemodi, inklusive Suche, Drill-down- und Pivot-Analysen, Datenvisualisierung, Machine-Learning-basierte Anomalieerkennung, Erkennungsregeln und Alerting, zusammen. „Der entscheidende Aspekt unserer Observability-Lösung besteht darin, dass wir auf der Basis von ECS ein Comcast-Common-Schema erstellen können, damit unser IT-Team wirklich verstehen kann, was all unsere anderen Tools tun“, so Dymek.

Elastic hat auch dazu beigetragen, gegenüber der vorherigen Observability-Lösung die Gesamtbetriebskosten von Comcast zu senken. „Elastic geht die Dinge strategischer als andere Anbieter an – bei denen hatten wir das Gefühl, immer mehr Schulden zu machen“, so Dymek. „Elastic legt auch größeren Wert auf den Aufbau einer echten Partnerschaft. Wenn wir Probleme haben, können wir uns jederzeit an das Team von Elastic wenden und erhalten schnell Antworten.“

Comcast nutzt bereits Kibana-Dashboards, um Trends und Anomalien zu visualisieren und Erkenntnisse über Teamgrenzen hinweg auszutauschen. Für die Zukunft sieht Dymek Potenzial bei Elastic AIOps, das domänenspezifisches Machine Learning und Anomalieerkennung nutzt, um das manuelle Troubleshooting zu reduzieren. „Wenn wir in der Lage sind, die von unseren operativen Daten erzeugten Signale automatisch zu verstehen, wird das Team entlastet und kann sich so eher auf die Entwicklung besserer Software konzentrieren.“ Für die Analyse von verteilten Traces und Metriken sowie für die Überwachung von Business-KPIs und technischen Komponenten wird auch Elastic OpenTelemetry in Betracht gezogen.

Elastic unterstützt das Ziel von Comcast, außergewöhnliche Technologien und Inhalte zu schaffen, die Millionen von Menschen mit den Momenten und Erlebnissen verbinden, die besonders wichtig sind. Dazu gehören heute die Ausstrahlung von Fernsehbildern in 4K-Auflösung, der geräteunabhängige Zugriff auf DVR-Aufnahmen und eine sprachgesteuerte Fernbedienung, die 15 Milliarden Befehle pro Jahr verarbeiten kann. Elastic wird Dymek und seinem Team auch dabei helfen, sich auf künftige Innovationen vorzubereiten, von Augmented Reality bis zum Metaverse.