El uso de Elastic Stack para monitoreo centralizado de base de datos en CitiGroup

Esta publicación es una recapitulación de una presentación para la comunidad de Elastic{ON} 2018. ¿Te interesa ver más conversaciones como esta? Consulta el archivo de conferencia o descubre cuándo llegará la gira de Elastic{ON} a una ciudad cercana a la tuya.

Con presencia física en más de 100 países y clientes en más de 160, CitiGroup tiene una gran infraestructura para la producción de equipos de aplicaciones empresariales a escala mundial. Se enfrentan varios desafíos de TI debido al tamaño de su negocio y la complejidad de su infraestructura. El escalado, la solidez empresarial, la agilidad de TI, el uso de activos, las herramientas de TI y las nuevas tecnologías han ejercido presión sobre los equipos de TI de CitiGroup para hacer las cosas más rápido (y a un costo menor).

Las herramientas de TI entre equipos han demostrado ser uno de los mayores desafíos a los que se ha enfrentado CitiGroup. Cada equipo debe adaptarse a las nuevas tendencias comerciales, como la automatización de despliegues de software, los nuevos entornos de despliegue y el cambio de herramientas de una sola función a herramientas multipropósito. Además de los inmensos desafíos técnicos, los equipos de TI de CitiGroup deben responder a la gerencia sénior de CitiGroup, que cada vez quiere saber más sobre el uso y los beneficios empresariales de las herramientas que conforman su infraestructura de TI.

Para poder supervisar, CitiGroup necesitaba una gran cantidad de datos. Dado que los datos estaban reunidos en diferentes grupos, en diferentes equipos (y, con frecuencia, en diferentes países), los equipos de TI no podían crear una imagen de monitoreo de infraestructura de punto a punto para que Citi Management pudiera mejorar sus herramientas, la condición de su infraestructura y sus operaciones. Así que se dispusieron a crear un sistema de monitoreo integrado que pudiera hacer un seguimiento y monitorear el rendimiento de las herramientas actuales y nuevas a través de su stack y entregar informes fáciles de entender sobre dicho rendimiento a la gerencia.

CitiGroup necesitaba un sistema de monitoreo integrado que pudiera llevar a cabo cada una de las siguientes tareas:

• Actuar como un espacio de almacenamiento de datos centralizado
• Configurar agentes
• Reducir los costos de soporte de licencias de herramientas
• Unificar y centralizar la gobernanza de datos

Desarrollar con Elastic Stack

CitiGroup recurrió a Elastic Stack porque los equipos de TI vieron que las analíticas de búsqueda avanzada desempeñarían un rol importante en la configuración del tipo de arquitectura que necesitaban. Por ejemplo, la infraestructura necesitaba hacer una ingesta de métricas, eventos y registros (aproximadamente 90 millones de documentos al día en todo el banco) solo para monitorear el rendimiento de la herramienta. Elasticsearch ofrecía una manera sencilla de reunir todos estos datos en un solo lugar, almacenarlos y permitir la búsqueda. Mediante el uso de Elasticsearch, CitiGroup desarrolló un cluster de almacenamiento de datos primarios que podría retener información durante 30 días para fines de búsqueda y visualización. Una vez que los datos superaron los 30 días, se usó Elasticsearch para exportarlos mediante Snapshots automatizadas a un espacio local de almacenamiento de objetos de bajo costo.

Además, CitiGroup necesitaba una forma de diseñar índices para SOC y resultados de auditorías, junto con varios casos de uso y niveles de acceso. Elasticsearch permitió a sus equipos de TI agrupar datos, proporcionar esquemas de nombres estandarizados y definir el control de acceso basado en roles y la autenticación para la gobernanza de datos. Elasticsearch también permitió a los equipos de TI y la administración de CitiGroup acceder fácilmente a datos para el análisis e ir más allá del dashboard estándar con la ayuda de las API internas, que dieron a los equipos de negocios el poder de recurrir a la API, recuperar datos y enviarlos a los sistemas locales para someterlos a análisis más profundos realizados por diferentes departamentos.

Al configurar el monitoreo de la infraestructura de contenedores mediante Alerting (anteriormente llamado Watcher), CitiGroup también pudo desarrollar un sistema para recopilar métricas, eventos y registros de contenedores que afectan a todos los departamentos, en lugar de limitarse a monitorear las actividades de un solo equipo. Esta información se usa para una variedad de casos de uso, incluidos los resultados de auditoría, la administración de alertas y la emisión de tickets, entre otros.

Además de las necesidades de monitoreo, los equipos de TI de CitiGroup necesitaban una manera facilmente escalable y segura de compartir sus descubrimientos con diferentes grupos de usuarios (incluida la gerencia). Mediante el uso de Kibana, han podido crear un dashboard que proporciona vistas agregadas de la condición de una aplicación en tiempo real, vistas individuales de métricas y registros e información de topología y uso de recursos de contenedores. Los usuarios también pueden explorar en profundidad una aplicación o contenedor para descubrir problemas en su origen. Los sistemas operativos y de aplicaciones pueden cambiar la forma en que ven los datos, organizarlos en una vista descendente o ascendente según sea necesario para monitorear el rendimiento de las herramientas y ejecutar informes que brindan una visión global de la efectividad de sus herramientas en el mundo real.

¿Quieres ver de qué manera CitiGroup aprovecha la analítica de búsqueda avanzada para monitorear la infraestructura de soporte en Citigroup? Mira la conversación completa de Elastic{ON}, Monitoreo de infraestructura de aplicaciones en Citigroup.