Elastic 将 Elastic Common Schema (ECS) 贡献给 OpenTelemetry (OTel),助力加速采用基于 OTel 框架的可观测性和安全性

作者

Ken Exner

ecs-otel-announcement-1.jpeg

如今,数据的来源纷繁复杂且模式各异,让我们难以准确找出各种软件问题,且难以弄明白某个问题的根本原因。使用通用模式,将有助于对数据进行规范化,进而能够更好地在可观测性和安全解决方案中对数据进行分析、可视化和关联,并加速根本原因分析。为了确保我们的客户和更广泛的社区能够从标准化中充分受益,Elastic 致力于在 Elastic Common Schema (ECS) 和 OpenTelemetry (OTel) 基础上,开发一种适用于处理指标、日志、痕迹和安全事件的通用模式。

Elastic 将 ECS 贡献给 OTel,并致力于共同开发一种通用模式。OTel 是云原生计算基金会 (CNCF) 下成长速度第二快的项目;它提供了一系列的工具、API 和 SDK,用于生成、收集、处理和导出遥测数据(指标、日志和痕迹),以理解软件性能和行为。Elastic 长期以来一直是开放标准的倡导者,这项贡献是 Elastic 对社区承诺的延续和扩展。通过将 ECS 贡献给 OpenTelemetry,我们希望在广泛部署的 Elastic Common Schema 的基础上,在 OTel 中为指标、日志、痕迹和安全事件创建一个成熟且经过验证的通用模式。未来,我们将会与 OTel 一道继续开发和支持这一通用模式。

对开源社区的价值

ECS 是在 Elastic 用户社区的支持下开发的一种开源规范,用于定义在 Elasticsearch 中存储事件数据时使用的一组通用字段。ECS 有助于降低因数据重复而产生的管理和存储成本,从而提高运营效率。

同样,OTel 的语义约定 (SemConv) 也规定了各种操作和数据的通用名称。使用 OTel SemConv 的益处在于:遵循一种通用的命名模式,可以为 OTel 用户在代码库、资料库和平台之间实现标准化。

ECS 与 OTel SemConv 的合并,将有助于提升 OTel 的采用率,并推动可观测性和安全域的持续发展与融合。

致力于开放标准

共同开发通用模式的目标是,为最常用类型的系统定义对供应商中立的语义约定。通过支持供应商创建的组件或开源组件(例如,HTTP 访问日志、网络日志或系统访问/身份验证日志),可将 OTel 关联性扩展到这些新的数据类型。ECS 的贡献者已在定义一组统一的语义约定方面做了大量工作,这些语义约定都可在 OTel 中采用。

ECS 的贡献将会为生态系统带来以下多项优势:

  • 为供应商生成的日志以及开源日志提供更加标准化和统一的结构化格式
  • 用户可充分享用一站式日志集成的便利,OTel 兼容的可观测性产品和服务可完全识别这些集成
  • 通过为 Kubernetes 应用程序日志、系统日志和应用程序内省事件提供卓越的支持,扩展了 OTel 对基础架构的支持
  • 为应用程序和基础架构提供标准化的可观测性遥测定义,实现对供应商中立的可观测性

随着 OTel 采用 ECS,OTel 收集器日志接收器的作者将能够在他们的消息中提供更丰富的数据定义,从而提高数据质量,并助力将 OTel 收集器确立为业界事实上的标准日志收集器。

ECS 不断改进,可满足用户在多种用途中收集各种类型遥测数据的需求。ECS 的采用将会极大扩展 OTel 对 DevSecOps 的实用性。

Elastic 目前支持的 CNCF 项目越来越多,例如 Kubernetes (K8S)、Prometheus、Fluentd、Fluent Bit 和 Istio。此外,Elastic 的应用程序性能监测 (APM) 还原生支持 OTel,确保所有 APM 功能都可通过 Elastic 或 OTel 代理(或者两者的组合)来使用。除了 ECS 贡献以及与 OTel SemConv 的持续协作外,Elastic 还在持续为其他 OTel 项目做出贡献,例如语言 SDK(包括 OTel Swift、OTel Go、OTel Ruby 等),并且参与了多个特殊兴趣小组 (SIG),以将 OTel 确立为可观测性和安全性的标准。

我们很高兴加强与 OTel 之间的关系,并有机会以 Elastic 社区和更广泛 OTel 社区共同受益的方式合并模式。

请深入了解 Elastic 对 OpenTelemetry 的支持或为这个项目做出的贡献。ECS 对 OpenTelemetry 的这项贡献非常激动人心,如需了解其他详细信息,请参阅我们的“常见问答”