Elastic contribui com o Elastic Common Schema (ECS) para o OpenTelemetry (OTel), ajudando a acelerar a adoção de observabilidade e segurança baseadas no OTel

Atualmente, dados de várias fontes com os esquemas dificultam a identificação de problemas de software e a compreensão da causa raiz de um problema. Um esquema comum ajuda a normalizar os dados para permitir análise, visualização e correlação aprimoradas dos dados em soluções de observabilidade e segurança, acelerando a análise da causa raiz. Para garantir que nossos clientes e a comunidade em geral possam se beneficiar da padronização, a Elastic está empenhada em desenvolver um esquema comum para métricas, logs, traces e eventos de segurança com base no Elastic Common Schema (ECS) e no OpenTelemetry (OTel).  

A Elastic está contribuindo para o OTel com o ECS e se comprometendo com o desenvolvimento conjunto de um esquema comum. OTel é o segundo projeto de mais alta velocidade na Cloud Native Computing Foundation (CNCF) e fornece um acervo de ferramentas, APIs e SDKs usados para gerar, coletar, processar e exportar dados de telemetria (métricas, logs e traces) com o objetivo de entender o desempenho e o comportamento do software. Faz muito tempo que a Elastic defende padrões abertos, e essa contribuição continua e expande o compromisso da Elastic com a comunidade. Ao contribuir com o ECS para o OpenTelemetry, esperamos criar um esquema comum maduro e comprovado no OTel para métricas, logs, traces e eventos de segurança com base no Elastic Common Schema largamente implantado. Junto com o OTel, continuaremos a desenvolver e dar suporte a esse esquema comum no futuro.

Valor para a comunidade open source

O ECS, uma especificação open source, foi desenvolvido com o suporte da comunidade de usuários da Elastic para definir um conjunto comum de campos a serem usados ao armazenar dados de eventos no Elasticsearch. O ECS ajuda a reduzir os custos de gerenciamento e armazenamento decorrentes da duplicação de dados, melhorando a eficiência operacional.

Da mesma forma, as Semantic Conventions (SemConv) do OTel também especificam nomes comuns para vários tipos de operações e dados. O benefício de usar o OTel SemConv está em seguir um esquema de nomenclatura comum que pode ser padronizado em bases de código, bibliotecas e plataformas para os usuários do OTel.

A fusão do ECS e do OTel SemConv ajudará a promover avanços na adoção do OTel, bem como na evolução e na convergência contínuas dos domínios de observabilidade e segurança. 

Um compromisso com os padrões abertos

O objetivo do desenvolvimento conjunto de um esquema comum é definir convenções semânticas com neutralidade de fornecedor para os tipos de sistemas mais populares. O suporte para componentes open source ou criados por fornecedores (por exemplo, logs de acesso HTTP, logs de rede ou logs de acesso/autenticação do sistema) estenderá a correlação do OTel com esses novos tipos de dados. Os colaboradores do ECS já fizeram o trabalho pesado na definição de um conjunto unificado de convenções semânticas, que podem ser adotadas no OTel.

A contribuição do ECS trará várias vantagens para o ecossistema:

• Um formato estruturado mais padronizado e unificado para logs gerados por fornecedores além dos logs open source
• O usuário se beneficia de integrações de log prontas para uso que serão totalmente reconhecidas por produtos e serviços de observabilidade compatíveis com o OTel
• Suporte para o OTel expandido para infraestrutura, fornecendo suporte de primeira classe para logs de aplicações do Kubernetes, logs do sistema e eventos de introspecção de aplicações
• Uma definição de telemetria de observabilidade padronizada para aplicações e infraestrutura, viabilizando a neutralidade de fornecedor para observabilidade

Como o OTel adota o ECS, os autores de receptores de logs do OTel Collector poderão fornecer definições de dados mais ricas em suas mensagens, melhorando a qualidade dos dados e ajudando a estabelecer o OTel Collector como o coletor de log padrão de fato no setor.

O ECS evoluiu para atender às necessidades dos usuários que reúnem muitos tipos de telemetria em vários usos. A adoção do ECS ampliará significativamente a utilidade do OTel para as equipes de DevSecOps.

A Elastic atualmente oferece suporte para uma lista crescente de projetos da CNCF, como Kubernetes (K8S), Prometheus, Fluentd, Fluent Bit e Istio. O Application Performance Monitoring (APM) da Elastic também oferece suporte nativo para o OTel, garantindo que todas as funcionalidades de APM estejam disponíveis com agentes da Elastic ou do OTel ou em uma combinação dos dois. Além da contribuição do ECS e da colaboração contínua com o OTel SemConv, a Elastic continua a fazer contribuições para outros projetos do OTel, incluindo SDKs de linguagem (como OTel Swift, OTel Go, OTel Ruby e outros), e participa de vários grupos de interesse especial (SIGs) para estabelecer o OTel como um padrão para observabilidade e segurança.

Estamos entusiasmados com nosso relacionamento cada vez mais forte com o OTel e a oportunidade de mesclar os esquemas de uma forma que beneficie tanto a comunidade Elastic quanto a comunidade OTel mais ampla.

Saiba mais sobre o suporte da Elastic para o OpenTelemetry ou contribua para o projeto. Detalhes adicionais sobre essa interessante contribuição do ECS para o OpenTelemetry podem ser encontrados em nossas perguntas frequentes.