O que é a detecção de anomalia?

A detecção de anomalia é o processo de identificar pontos de dados em um conjunto de dados ou sistema que estão fora da norma. Durante a análise de dados ou por meio de machine learning, a detecção de anomalia sinalizará instâncias que não estão em conformidade com seus padrões usuais ou modelos estatísticos na maioria dos seus dados. As anomalias podem aparecer como discrepâncias, alterações inesperadas ou erros; isso depende do tipo de dados que você está analisando e dos parâmetros que você predefiniu. A detecção de anomalia é útil porque você pode identificar possíveis problemas ou ameaças de forma rápida e eficiente, mantendo a integridade e a confiabilidade do seu sistema.

Aqui estão alguns tipos de anomalias que os métodos de detecção de anomalia podem encontrar. É importante observar que estas categorias não são mutuamente exclusivas; as anomalias podem mostrar características de várias categorias ao mesmo tempo.

• As anomalias pontuais são pontos de dados individuais que estão nitidamente diferentes do restante do conjunto de dados. Por exemplo, uma compra repentina de grande porte com cartão de crédito que esteja fora do padrão para um determinado titular seria uma anomalia pontual sinalizada para investigação como uma possível fraude.
• As anomalias contextuais ocorrem quando o comportamento normal de um ponto de dados pode variar dependendo do contexto. Um exemplo comum é um site de varejo que experimenta um grande aumento no tráfego e nas vendas na Black Friday, o dia de compras mais movimentado do ano. Tal pico seria anômalo em outras épocas do ano, portanto, parâmetros especiais são definidos para esse dia.
• As anomalias coletivas envolvem um grupo de pontos de dados que exibem um comportamento totalmente anômalo, mesmo que os pontos de dados individuais possam parecer normais. Essas anomalias são identificadas observando as relações ou padrões entre vários pontos de dados. Um ataque de DDoS é um exemplo de anomalia coletiva porque cria tráfego de diversas fontes que diferem dos padrões normais de tráfego.
• As anomalias temporais e as anomalias de séries temporais acontecem quando há desvios nos dados em uma sequência temporal, como uma sequência de eventos ou uma mudança sazonal. Por exemplo, uma mudança na época turística de pico para um destino de férias, padrões climáticos incomuns durante uma estação específica ou um aumento no tráfego que não ocorre na hora do rush seriam anomalias temporais.
• As anomalias espaciais e as anomalias geográficas são aquelas que ocorrem em dados espaciais ou geográficos. Essas anomalias podem ser encontradas observando as relações espaciais entre os pontos de dados. Por exemplo, em dados de saúde pública, uma concentração atipicamente elevada de indivíduos diagnosticados com uma doença numa área específica seria uma anomalia espacial que seria investigada como um surto localizado.

A detecção de anomalia é importante porque ajuda a identificar padrões, comportamentos ou eventos incomuns que podem levar a problemas no futuro. Sua organização pode ser alertada sobre possíveis riscos, ineficiências e anormalidades em cada sistema e conjunto de dados que você decidir monitorar. Isso fornece as informações necessárias para você intervir de forma rápida e proativa antes que o problema se agrave. Estar ciente de todas essas anomalias em vários aspectos do seu negócio mantém tudo funcionando perfeitamente, mostra onde você pode se concentrar em melhorar e protege você contra ataques internos e externos.

A detecção de anomalia funciona estabelecendo primeiramente um perfil de comportamento de linha de base. Esse perfil representa os padrões e comportamentos esperados dos dados quando tudo está funcionando normalmente. Geralmente é criado usando dados históricos ou uma amostra representativa do comportamento normal.

Uma vez estabelecido o perfil de comportamento normal, os novos dados recebidos são comparados com esse perfil. Os pontos de dados são avaliados para ver se correspondem às características esperadas do perfil de comportamento normal. Os pontos de dados que se desviam significativamente dele são sinalizados como anomalias. Esses desvios podem ser identificados usando diversas técnicas estatísticas, algoritmos de machine learning ou abordagens baseadas em regras que explicaremos na próxima seção.

Em seguida, as anomalias detectadas são investigadas para compreender suas causas e implicações. É importante validar as anomalias para garantir que não sejam falsos positivos ou discrepâncias causadas por erros de medição ou flutuações aleatórias. Uma vez verificadas as anomalias, é hora de agir. Isso pode significar investigações adicionais, manutenção ou reparos, medidas de segurança, ajustes no controle de qualidade ou qualquer outra medida que possa diminuir seu impacto.

A maioria das técnicas de detecção de anomalia pode ser baseada em regras ou em machine learning. Estas últimas podem ser divididas em três grupos baseados em machine learning: técnicas supervisionadas, técnicas não supervisionadas e técnicas semissupervisionadas. A técnica escolhida depende dos requisitos específicos do problema que você está tentando resolver e da quantidade de dados rotulados que você possui.

As técnicas supervisionadas de detecção de anomalia com ML são técnicas que exigem dados rotulados que definam claramente instâncias normais e anômalas durante o treinamento. O modelo aprende os padrões dos dados normais e então classifica novos pontos de dados como normais ou anômalos com base no que aprendeu.

As técnicas não supervisionadas de detecção de anomalia com ML funcionam sem dados rotulados. Elas assumem que as anomalias são raras e significativamente diferentes da maioria dos dados. Essas técnicas visam identificar padrões incomuns, discrepâncias ou desvios do comportamento normal.

As técnicas semissupervisionadas de detecção de anomalia com ML usam uma combinação de dados rotulados e não rotulados. Elas utilizam os dados rotulados para estabelecer uma linha de base do comportamento normal e, em seguida, identificam desvios dessa linha de base usando os dados não rotulados. Isso é especialmente útil ao trabalhar com dados não estruturados.

Embora o machine learning seja comumente usado na detecção de anomalia, vale mencionar que outras técnicas (como métodos estatísticos, abordagens baseadas em regras e técnicas de processamento de sinais) também podem ser utilizadas para detecção de anomalia. Essas técnicas que não são de machine learning dependem de diferentes princípios e algoritmos para identificar anomalias nos dados.

A detecção de anomalia tem uma variedade de casos de uso em diferentes áreas. Aqui estão alguns casos de uso que você pode encontrar:

• Segurança cibernética. A detecção de anomalia ajuda a identificar padrões ou comportamentos incomuns no tráfego de rede, nos logs do sistema e nas atividades do usuário. Isso ajuda a detectar ameaças cibernéticas como tentativas de invasão, malware e violações de dados.
• Monitoramento de aplicações e sistemas. A detecção de anomalia é crucial para monitorar o desempenho das suas aplicações, dos servidores e da infraestrutura de rede. Ela pode ajudar a evitar possíveis interrupções porque pode encontrar e relatar rapidamente anomalias em métricas como latência, uso de CPU e utilização de memória.
• Detecção de fraude. A detecção de anomalia pode identificar fraudes de cartão de crédito e roubo de identidade ao detectar gastos fora do padrão, compras feitas em locais geográficos incomuns e outras atividades suspeitas.
• Manutenção de hardware. Você também pode utilizar a detecção de anomalia para monitorar o desempenho do seu hardware. Isso inclui fatores como temperatura da CPU, velocidade da ventoinha e níveis de tensão. Ela pode sinalizar anomalias que sejam indícios de falhas iminentes para que você possa iniciar os reparos antes que haja uma interrupção.
• Analítica de comportamento do usuário. A detecção de anomalia pode analisar padrões e tendências de comportamento do usuário nas suas aplicações, sites e outras plataformas online, evitando a criação de perfis de usuário. Ela ajuda a identificar interações incomuns do usuário e também pode ajudar a personalizar medidas de segurança.

A detecção de anomalia tem vários benefícios. Estas são apenas algumas das maneiras pelas quais ela pode ajudar sua organização:

• Ela possibilita que você detecte problemas antecipadamente, antes que se agravem. Se você identificar as anomalias antecipadamente, poderá tomar medidas para impedir possíveis danos ou interrupções.
• Ela desempenha um papel fundamental na identificação de atividades suspeitas que podem ser maliciosas, como ataques cibernéticos ou fraudes. Isso permite que você identifique rapidamente ameaças potenciais e melhore sua segurança.
• Ela pode detectar ineficiências ao procurar desvios do desempenho ideal de um sistema. Isso pode ajudar você a otimizar seus processos e ter ideias para melhorias gerais em seus sistemas.
• É vital para o atendimento ao cliente porque encontra anomalias que podem afetar a satisfação do cliente, sejam interrupções no serviço ou um aumento incomum nas consultas de atendimento ao cliente que pode indicar um problema.
• A detecção de anomalia baseada em machine learning tem o benefício adicional de poder monitorar seus sistemas o tempo todo.
• Ela pode até ajudar você com a conformidade regulatória porque pode detectar desvios dos requisitos regulatórios e dos padrões do setor.

As técnicas de detecção de anomalia apresentam certas limitações e desafios. Aqui estão algumas desvantagens que você deve conhecer:

• Os modelos supervisionados de machine learning podem exigir muitos dados rotulados para funcionar bem. Se o modelo de treinamento de detecção de anomalia tiver uma quantidade insuficiente de dados rotulados, sua precisão será prejudicada.
• Definir limites imprecisos para o algoritmo de detecção de anomalia medir pode causar vários erros de relatório.
• Se o algoritmo foi treinado em um modelo histórico que agora está desatualizado, o desempenho do modelo poderá ser prejudicado. A atualização do modelo pode ser trabalhosa e demorada.
• Mesmo com limites precisos, o algoritmo pode ocasionalmente gerar falsos positivos (pontos de dados normais sinalizados como anomalias) ou falsos negativos (anomalias não detectadas). Pode ser difícil encontrar um ponto de equilíbrio entre esses dois tipos de erros, uma vez que a redução de um costuma gerar o aumento do outro.
• Os algoritmos de detecção de anomalia podem ser sensíveis a dados ruidosos ou irrelevantes. Você pode usar técnicas de pré-processamento e outros métodos de redução de ruído para atenuar isso.
• A escalabilidade pode ser um desafio quando você aplica a detecção de anomalia a grandes conjuntos de dados ou a dados de streaming em tempo real. Sua organização pode precisar de mais recursos computacionais do que você tem atualmente para processar tudo.

É importante seguir as práticas recomendadas de detecção de anomalia para obter os melhores resultados. Aqui estão algumas que você deve ter em mente:

• Antes de começar, certifique-se de obter uma compreensão completa dos padrões e características dos seus dados.
• Estabeleça padrões de linha de base ou limites para o comportamento esperado que sejam tão precisos quanto possível. Não economize nesta etapa — você terá problemas no futuro se fizer isso.
• Escolha uma técnica de detecção de anomalia que corresponda bem ao tipo de dados que sua organização gera. Você poderá combinar várias técnicas se essa for a melhor abordagem.
• Monitore regularmente o desempenho do seu sistema de detecção de anomalia e atualize-o se os dados que você estiver gerando tiverem sido alterados.
• Se você tiver dúvidas, acione membros da sua equipe que sejam especialistas no assunto que está sendo analisado. Eles podem ajudar a interpretar os resultados com mais precisão.

A Elastic fornece uma interface clara e fácil de usar que utiliza uma variedade de técnicas de machine learning para fornecer análises sofisticadas dos seus dados em tempo real. Os recursos de detecção de anomalia da Elastic incluem fluxos de trabalho passo a passo para ajudar a criar um trabalho de machine learning de detecção de anomalia melhor. A detecção de anomalia da Elastic também inclui visualizações que facilitam a compreensão das anomalias e da possível causa raiz, além de detecção confiável de comportamento anormal em seus vários domínios.

Saiba mais sobre o machine learning da Elastic e como o Elastic Observability pode ajudar sua empresa hoje mesmo.

Kibana Guide: Anomaly detection (Guia do Kibana: Detecção de anomalia)

Getting started with anomaly detection (Introdução à detecção de anomalia)

Anomaly detection algorithms (Algoritmos de detecção de anomalia)

Detecting anomalous locations in geographic data (Detecção de locais anômalos em dados geográficos)