什么是日志监测？
日志监测定义
日志监测是从各种来源收集、分析日志数据并据此采取行动的过程。这些来源可能包括应用程序和基础架构（即计算、网络和存储）。当开发人员和运营团队监测日志时，他们这么做是为了发现系统中的异常情况和问题，以便尽可能高效地解决这些问题。
为了保证性能、可用性和安全性，开发人员和工程团队需要对日志进行持续观测。这个过程通常就被称为日志监测，会在记录日志时实时发生。
除了指标和痕迹，日志监测也是实现可观测性的重要组成部分。与强大的日志管理软件一样，日志监测对企业同样至关重要，因为它有助于团队在问题影响客户或其他类型的用户之前及时发现、处理和解决问题。
等等，日志是什么？
日志数据是各种系统和应用程序在运行时生成的信息。这些数据包含系统事件、错误消息、性能指标和用户活动。例如，日志能够记录故障以及故障发生的时间，便于您随后据此在代码中查找错误，从而解决问题。每个日志都带有时间戳，并显示在特定时间点发生的事件。
日志可以显示操作系统中发生的事件，例如，连接尝试、错误和配置变更等。这些类型的日志被称为系统日志。
与此不同，应用程序日志显示的是应用程序软件堆栈（特别是专用代理、防火墙以及其他软件应用程序）内所发生事件的信息。这些类型的日志会记录软件更改、CRUD 操作、应用程序身份验证等信息。
日志监测的历史由来
日志监测由来已久。现如今，大多数开发人员都会依赖于可观测性工具来满足他们的日志监测需求。然而，在过去，查看日志的工作都是手动进行的。在最早的 Unix 时代，开发人员都是用文本和搜索工具来查看日志文件的。
手动查看日志不再是一个可行的选项。这纯粹是因为数据量已经大到超出了人类理解的范围。团队必须快速查看日志，以在问题拖慢业务速度之前予以解决。值得庆幸的是，随着生成的日志越来越多，该行业在自动执行部分日志监测的能力方面也取得了重大进展。
当今的组织拥有各种强大的工具来帮助自己有效地进行日志监测。这一点很重要，因为现代系统有一个相互依赖的应用程序网络，所有这些应用程序都需要被跟踪。日志监测工具现在将数据存储和自动化整合在了一起，这对于拥有分布式云应用的组织来说至关重要。
为什么日志监测很重要？
查看和监测系统及应用程序中事件日志的效果可能看起来并不是特别明显，特别是在一切都顺利运行的情况下，更是如此。但是，具备有效监测日志文件的能力会对组织产生巨大的影响。
当问题出现时，团队需要能够深入研究和查看日志，以便准确找到具体事件和实例。一旦发现异常情况，团队就可以解决问题，从而确保系统保持安全状态，并为最终用户提供始终流畅的体验。
如果没有强大的日志监测，团队就会被蒙在鼓里，无法监测系统和应用程序的性能和可用性，也不能为客户提供出色的体验。鉴于云应用程序的分布式特性，这一点尤为复杂和危险。面对如此大的数据流量，组织需要强大的日志监测工具来随时掌握业务动态。
日志监测的优势有哪些？
日志监测的重要性显而易见，但为什么对企业尤其重要呢？企业往往需要处理和生成大量的日志数据。随着数据量的攀升，就需要强大的日志监测，以此来监测系统和应用程序的性能和可用性，从而提供良好的客户体验。
以下是企业日志监测的一些主要优势：
集中数据，实现整体运营的可见性
现在的日志监测工具都提供了数据集中功能。开发人员可以在一个平台之上监测所有系统和应用程序日志。这种集中处理的方法有助于用户即时了解系统运行情况，而无需开发人员在不同的系统中深入挖掘。由于所有信息都集中到了一起，因此可以更快、更有效地进行响应，并节省时间和资源。
更快地对事件做出响应
由于集中式解决方案能够自动监测和查看日志，因此查看日志、检测问题并快速响应任何事件就容易多了。从最终用户角度来看，性能快速高效非常重要，因为没人希望事件影响到用户。但从安全角度来看，这一点同样重要。任何数据泄露或漏洞，都需要立即予以解决，从而降低风险。
通过自动化节省时间
由于生成了如此多的数据，使得企业对越来越多的日志应接不暇，并且这些日志变得异常难以解析。日志监测工具不仅能够监测日志，还可以自动标记或更正问题。这些自动化功能一直在改进，可为繁忙的团队节省大量的时间。
使用相同的日志实现可观测性和安全性操作
当日志监测进行集中管理时，它便可以用于多个目的。现代企业可以使用相同的日志实现可观测性和安全性操作，从而精简工作流程，并减少使用不同工具的时间。
日志监测面临的挑战有哪些？
尽管组织监测日志已有几十年的时间，但许多组织依靠的仍旧是传统方法和旧平台，且毫无章法。然而，随着数据量的增加，要想保持竞争力，企业就必须迎接挑战，采用新的日志监测工具。
以下是监测日志时会遇到的一些主要挑战：
复杂程度更胜以往
技术变得越来越复杂，创建、处理和存储的数据比以往任何时候都多。云创建了更多的系统，其中包含创建虚拟日志的虚拟和临时对象。所有这些都意味着会出现更多的日志和数据，令监测日志变得更加困难。组织需要使用更高效、更强大的工具，才能仔细查看这些日志和数据。
日志量增加且格式多样
日志的数量一直呈指数级增长，并且日志记录形式也有所不同。各种系统生成的日志有结构化的,也有非结构化的，没有统一的格式。这意味着，可观测性专家必须解读日志的含义，而这需要大量的资源。组织不得不创建标准化的格式，以便有效监测日志。
遗留的数据孤岛
许多企业仍在使用分布式系统而不是集中式系统来运营。这种做法不仅会导致成本随数据量的增多而上升，而且还会增加开发人员和运营团队的工作量，而如果集中处理数据，他们将会更加高效。
旧有的方法需手动操作且杂乱
尽管日志监测平台已经取得了重大进展，但许多方法仍然涉及大量的手动操作。手动操作非常耗时，容易出现人为错误，并且通常是过时的，这会让组织面临风险。有时，这些方法也是杂乱的，这意味着问题可能不会被发现。
日志监测用例
日志是由许多不同的系统和设备生成的。在企业中，日志监测最常用于以下方面：
网络监测
防火墙、交换机、路由器和负载均衡器等网络设备会生成日志，需要对它们进行监测。
基础架构监测
针对基础架构的日志监测会跟踪本地部署的解决方案和虚拟机等云解决方案、AWS 或 Azure 等平台、Kubernetes 等容器平台、第三方数据源和开源软件。
应用程序监测
针对应用程序的日志监测通常适用于两种类型的应用程序：(1) 最终用户的最终体验，以及 (2) 分布式应用中的服务。应用程序监测非常重要，因为应用程序性能会影响客户体验。例如，如果服务中断，客户可能会离开网站或应用。数据库也被视为应用程序。
合规性
法律要求企业须保留某些类型的数据。为了保持合规性，企业需要将日志数据存储一定的时间。这样一来，如果发生任何事件，企业就有历史记录可供查看。
选择日志监测解决方案时要考虑的事项
进行日志监测的企业都需要借助一个平台，以便让团队变得更富有成效。以下是选择日志监测解决方案时需要考虑的一些事项：
集中处理数据
由于大量日志的类型和来源各不相同，您需要选择一个可集中处理数据的平台。在集中式的视图中，解析日志数据将会变得更加容易和高效。
可据以行动的告警
查找错误条件和模式匹配只是第一步。能够有效地对日志中的异常情况采取行动和发出告警才是日志监测的关键。一个有效的平台需要能够筛选日志监测告警并确定优先级，以确定 IT 运营团队当前需要解决和调查的问题。能够在监测时运用 AIOps 和 Machine Learning 技术是最大限度消除最终用户告警疲劳的一种方法。
节约成本或有经验证的投资回报率
虽然您不想因为某个工具价格最便宜而选择它，但确实想要一个能够节约成本或有经验证的投资回报率的平台。在这一点上，有必要进行成本分析，以了解您所考虑的日志监测解决方案的利与弊。
全面的可观测性解决方案，而不仅仅是日志监测
日志监测只是实现可观测性的一个组成部分。为了获得最大价值，最好是寻找一个可提供全套可观测性解决方案的平台。日志监测只是整个过程的一个环节。
日志监测常见问答
进一步了解日志监测。
日志监测和日志分析有什么区别？
日志监测和日志分析密切相关，结合使用可确保系统平稳运行。日志监测涉及跟踪和监测日志，而日志分析则是提供更多的背景信息，以便团队明白要采取的最佳操作。
日志监测最佳实践有哪些？
大规模执行日志监测的组织需要一个能够集中处理日志管理事宜的企业系统。这类系统需要管理复杂系统创建的大量日志，并采用分层存储日志的方法来帮助降低持续成本。
借助 Elastic 实现日志监测
作为日志监测领域公认的领导者，Elastic 可观测性（由 Elasticsearch 引擎提供支持）提供了强大且灵活的日志监测功能。从本地部署到 Elastic Cloud，无论是实现可观测性还是安全计划，Elastic 都可以轻松进行扩展来处理 PB 量级的日志数据，以便团队快速进行故障排查。在 Elastic 的帮助下，您可以：
- 轻松部署，满足用例需求
- 灵活扩展和获得可靠性，不受数据量的限制
- 获得与团队常用工具的各种集成，以及内置的 Machine Learning 功能
- 通过简单的数据层策略降低成本（您只需按使用量付费）
- 集中化日志管理
除了监测和告警之外，使用 Elastic 灵活的存储功能，还可让您保存历史日志数据，以供将来分析、调查和查找。无论您监测日志是为了实现可观测性还是安全性，您都可以借助 Elastic 一次性采集所需数据并随时随地使用。