Elastic Agent e Fleet facilitam a integração dos seus sistemas com a Elastic

Hoje, temos o prazer de anunciar três grandes melhorias que facilitarão a integração dos seus sistemas e aplicações com o Elastic Stack. Primeiramente, estamos lançando a versão com disponibilidade geral (GA) do nosso Elastic Agent, que é um agente unificado para observabilidade e segurança. Um agente unificado simplificará a integração de dados com menos coisas para configurar e instalar.

Em segundo lugar, estamos lançando a versão com GA do Fleet, um novo app do Kibana que permite gerenciar centralmente uma frota inteira de Elastic Agents em escala. Ele atua como um plano de controle, dando a você uma visão em tempo real do status dos agentes, atualizando agentes remotamente, executando consultas em cada host e contendo ameaças à segurança.

Em terceiro lugar, estamos lançando o nosso novo app Integrations no Kibana junto com o nosso primeiro conjunto de integrações em GA. Em um único clique, você pode integrar seus sistemas e aplicações com o Elastic Stack. As integrações fornecem análise de log pronta para uso, dashboards, trabalhos de machine learning e muito mais. Você pode implantar integrações em Elastic Agents por meio do Fleet, o que lhe permite ir dos dados ao insight em segundos.

Os desafios da ingestão de dados em escala

Um desafio crítico ao adotar uma solução de monitoramento ou segurança é o tempo que se leva para implantar agentes e gerenciá-los em escala. Isso atrasa objetivos de negócios críticos e aumenta o seu custo total de propriedade. Grandes organizações podem ter centenas de equipes e centenas de milhares de servidores, notebooks e aplicações. As aprovações de avaliação, customização, operações e conformidade de segurança podem levar meses antes da implantação em várias equipes e ambientes. Qualquer problema na infraestrutura de monitoramento ou segurança pode ter um impacto enorme e crítico nos negócios.

Os Beats são a nossa solução existente para enviar dados para o Elastic Stack, e eles facilitam muito as coisas em relação a soluções genéricas como o syslog. No entanto, atualmente temos um total de sete Beats além de agentes de APM, servidor de APM, segurança de endpoint e outros. A instalação de tantos binários é complexa, especialmente em ambientes empresariais onde cada binário envolve a instalação por meio de soluções de gerenciamento de configuração, implantações progressivas, gerenciamento de alterações e requisitos de auditoria.

Outro desafio é o processo de adicionar integrações para novas fontes de dados. Hoje, os usuários devem editar arquivos YAML e carregá-los em todos os seus servidores. Eles costumam usar ferramentas como Ansible ou Chef para enviar configurações. Infelizmente, isso torna a inclusão de uma nova fonte de dados um processo complexo que geralmente requer ferramentas de terceiros e coordenação com especialistas em todas as equipes. Isso se complica ainda mais quando é preciso lidar com centenas de milhares de agentes espalhados por várias redes e datacenters.

Um agente para a todos governar

O Elastic Agent é um agente unificado para logs, métricas, traces de APM, sintéticos e proteção do seu sistema. Começar é tão simples quanto executar um único comando para instalar o agente. Você não precisa mais implantar vários Beats. Isso tornará mais rápida a implantação na sua infraestrutura e a manutenção ao longo do tempo. Além disso, o Elastic Agent tem uma configuração unificada e gerenciada de maneira centralizada. Portanto, não há necessidade de editar vários arquivos de configuração para o Filebeat, o Metricbeat e outros. Com isso, ficará muito mais fácil adicionar integrações. Você pode atualizar a configuração por meio do Fleet, o que lhe permite habilitar integrações, ingerir dados e customizar o comportamento do agente rapidamente.

Mais facilidade nas integrações e na configuração

O novo app Integrations fornece uma UI baseada na Web no Kibana para adicionar e gerenciar integrações para serviços e plataformas populares. Além de proporcionarem uma maneira fácil de adicionar novas fontes de dados, as nossas integrações também vêm com ativos prontos para uso, como dashboards, visualizações e pipelines para extrair campos estruturados dos logs. Você não precisa investir muito esforço para configurar o sistema porque isso é feito para você automaticamente. Isso facilita a configuração e a obtenção de insights em segundos. 

Nossas novas integrações em GA lhe permitem monitorar a infraestrutura do sistema, incluindo servidores, notebooks, containers, VMs e muito mais. Você também pode proteger seus sistemas contra ameaças à segurança e analisar eventos de segurança. Existem mais de 70 integrações disponíveis e estamos trabalhando continuamente para adicionar mais.

Nós também fornecemos uma UI baseada na Web para configurar integrações para seus sistemas e aplicações. Em vez de editar longos arquivos YAML com muitas configurações irrelevantes, a UI da Web é mais concisa e oferece orientação e validação. Os valores padrão já são fornecidos para locais de logs e métricas comuns; assim, você pode apenas clicar em Save (Salvar) para implantar a integração com um único clique.

Você pode optar por adicionar essa integração do Nginx a um único agente ou a um grupo de agentes como parte de uma política. Uma política de agente permite aplicar a mesma integração em qualquer número de agentes, o que torna mais fácil gerenciar muitos agentes em escala. Os agentes receberão a atualização na próxima vez que fizerem check-in no Fleet.

Usuários avançados às vezes preferem arquivos YAML, APIs e infraestrutura como código (IaaC). O Fleet tem um design que prioriza a API, e tudo o que você pode fazer na UI também pode ser feito usando a API. Isso permite a integração com outros sistemas. Se preferir não usar o Fleet, você também poderá configurar o Elastic Agent com um arquivo YAML no modo autônomo.

Gerencie o Fleet centralmente

O Fleet serve como plano de controle para você gerenciar grandes grupos de agentes de forma centralizada. Você pode ver o estado de todos os seus agentes na página do Fleet. Aqui você pode ver quais agentes estão online e íntegros, quais não estão íntegros e a última vez que fizeram check-in. Pode também ver a versão do binário do agente e a política do agente.

Você pode definir grupos de agentes usando políticas de agente. Quando você faz uma alteração em uma política de agente, todos os agentes recebem a atualização durante seu próximo check-in. Você não precisa mais distribuir atualizações usando SSH, manuais do Ansible ou outros métodos de configuração.

Outra vantagem do Fleet é que podemos proteger melhor os agentes. Ele gera automaticamente chaves de API do Elasticsearch para cada agente com permissões mínimas para as integrações em execução. As chaves de API podem ser revogadas em cada agente, e você não precisa mais armazenar credenciais compartilhadas com amplas permissões em cada host. Além disso, quando você executa o Elastic Agent com Endpoint Security, o agente pode se proteger de ameaças em execução no host.

O Fleet Server é o componente de infraestrutura que gerencia a comunicação com os Elastic Agents. Ele fornece o plano de controle que atualiza os agentes e os instrui a executar ações como executar OSQuery em hosts ou isolar hosts na camada da rede para conter ameaças à segurança. Ele pode ser implantado centralmente ou na extremidade em redes privadas. 

Os fluxos de dados tornam o gerenciamento de dados mais fácil

Os dados coletados pelos Elastic Agents são armazenados usando o novo esquema de nomenclatura de fluxo de dados. Ele armazena dados em índices mais granulares do que os Beats faziam. As vantagens incluem um número menor de campos por índice, preenchimento automático mais rápido, armazenamento mais eficiente, mais visibilidade das fontes de volume de dados e controle sobre políticas de gestão de ciclo de vida e permissões de índice. Os espaços de nome permitem agrupar dados da maneira que você desejar, como por ambiente ou nome da equipe.

O que isso significa para os usuários dos Beats?

Os Beats não vão desaparecer tão cedo, e você pode continuar a usá-los junto com o Elastic Agent. Você pode executar ambos em paralelo enquanto migra os sistemas dos Beats para o Elastic Agent.

Embora o Elastic Agent e o Fleet sejam muito mais fáceis de usar, ainda há algumas situações em que é melhor usar os Beats — e vamos preencher essas lacunas com o tempo. O Fleet ainda não dá suporte para saída para Logstash ou Kafka; ele requer a função de superusuário e também requer uma conexão com a Internet para baixar a lista de integrações do Elastic Package Registry. Também estamos trabalhando para converter vários módulos dos Beats restantes em integrações. Confira a nossa página de comparativo para entender melhor as diferenças.

Experimente

Experimente você mesmo(a) abrindo o Kibana e navegando até o app Integrations no menu principal. Você verá uma lista de integrações, e o app orientará você no processo de inclusão de Elastic Agents. Como alternativa, você pode abrir o app Fleet para adicionar Elastic Agents diretamente.

Tanto o Elastic Agent quanto o Fleet são gratuitos e abertos. Gostaríamos de incentivar a colaboração com a comunidade, por isso, você pode encontrar o código do Fleet e do Elastic Agent no GitHub. Estamos ansiosos para ter a comunidade conosco nesta jornada.

Esperamos que este lançamento mostre como estamos facilitando a integração dos seus sistemas e aplicações com o Elastic Stack. Ele ficará ainda melhor ao longo do tempo com o seu feedback, então, compartilhe suas opiniões no nosso fórum de discussão.