Observability
Travel and Transportation

Delhivery : Desenvolvendo excelência operacional para logística de terceiros

Em resumo

  • 1
    milhões de pacotes entregues por dia na alta temporada
  • 50+
    pontos de dados coletados por pacote
  • 4
    GB de dados de pacote ingeridos por dia

Decisões tomadas em minutos

Com a capacidade de visualizar e explorar dados em tempo real no Kiibana, a Delhivey pode tomar decisões operacionais rápidas e dar continuidade ao serviço e à eficiência.

Produtividade de rede a 90%

A Delhivery pode rapidamente detectar e aliviar bloqueios em sua rede de entregas, mantendo altos níveis de desempenho e minimizando atrasos na linha.

Flexibilidade para dimensionar e experimentar

O Elasticsearch Service no Elastic Cloud permite à Delhivery escalar perfeitamente sua implantação enquanto acessa facilmente todos os recursos mais recentes do Elastic Stack. Isso permite à Delhivery manter o foco na expansão do negócio de logística em vez de gerenciar a infraestrutura de TI.

Um pouco sobre a empresa

Fundada em 2011, a Delhivery desenvolveu-se rapidamente a partir do seu foco inicial de entrega para se tornar a principal fornecedora de serviços de cadeia de suprimentos da Índia. Com uma vasta rede que abrange 19 centros de classificação automatizados, milhares de centros de entrega, 14.000 veículos e 21.000 membros de equipe, a empresa entrega uma média de um milhão de pacotes por dia.

O que faz a Delhivery se destacar é como ela está otimizando a velocidade dessa rede e alterando o setor de logística da Índia. Com insights desenvolvidos pelo Elastic Stack, a Delhivery fornece uma eficiência de custo sem igual e um serviço cada vez mais rápido para mais de 100.000 clientes, incluindo pequenas e médias empresas, grandes corporações e plataformas de e-commerce líderes. Esses insights permitem a rápida tomada de decisão, o que é vital para o sucesso da Delhivery.

A Elastic nos dá a capacidade de tomar decisões em trinta minutos ou menos, e isso é tudo. Isso impacta em custo, receita, serviço e tudo mais o que importa para os nossos acionistas.

– Kapil Bharati, Cofundador e CTO | Delhivery

A jornada da Delhivery com a Elastic

Desenvolvendo excelência operacional para logística de terceiros

A Delhivery foi lançada em 2011 como um serviço de entrega hiperlocal, com foco em serviços last-mile, com a entrega de mercadorias como alimentos e flores dentro de Gurgaon, localizado na fronteira de Delhi. Entretanto, com apenas alguns meses nesse empreendimento, os cofundadores da empresa se interessaram por uma oportunidade muito maior em torno do comércio eletrônico. O setor estava apenas começando a decolar na Índia, mas os cofundadores puderam ver o potencial e, em meados de 2011, a Delhivery garantiu seu primeiro cliente de e-commerce. A partir daquele ponto, a Delhivery focou em resolver os desafios de logística do comércio eletrônico, incluindo a velocidade de entrega.

A velocidade era um problema principal nos primeiros dias. Não era apenas sobre a experiência do cliente — os vendedores também sofriam. A Índia é uma economia de dinheiro em espécie, e a maioria dos vendedores precisava esperar que os pagamentos fossem coletados na entrega, então se a entrega atrasasse, assim ocorria com os lucros.

A única forma para a Delhivery resolver a questão era otimizando a eficiência de toda a rede de entregas, o que foi alcançado com a ajuda da Elastic. O Elastic Stack permite à Delhivery pesquisar, analisar e visualizar milhões de pontos de dados coletados de sua rede de entregas diariamente. Com esses insights, a empresa continua a aumentar a velocidade e a eficiência na entrega e a moldar o futuro da logística.

Crescimento explosivo em negócios e dados

Para manter um alto nível de operações, a Delhivery precisava saber o que estava acontecendo — o tempo todo. A cada 20 segundos, a Delhivery captura dados do campo, incluindo tamanho, localização e status de todas as suas remessas. Com o tempo, isso adiciona mais de 50 pontos de dados por pacote, o que pode ser usado para construir inteligência e eficiência na rede de entregas.

Inicialmente, os dados eram indexados e analisados no MongoDB. Entretanto, conforme a Delhivery aumentava suas entregas diárias de 500 para 9.000 no seu segundo ano, o crescimento de dados era enorme. Se tornou difícil e demorado separar os dados e extrair novos insights para melhorar o desempenho.

«Estamos sempre experimentando novas ferramentas e tecnologias diferentes, e começamos a olhar para uma solução que facilitaria agregar e explorar nossos dados”, disse o cofundador e CTO Kapil Bharati. «Vimos alguns painéis alimentados pelo Kibana e pensamos: por que não colocamos todos os nossos dados na Elastic? Rapidamente, ela se tornou uma ferramenta poderosa para nós.»

Eficiência de condução e velocidade

O primeiro aplicativo da Delhivery — lançada em 2013 — usando o Elastic Stack 2.x era uma série de painéis personalizados que permitiam aos vendedores do comércio eletrônico rastrear suas entregas. Esses painéis ainda estão em uso atualmente, fornecendo aos vendedores dados de geolocalização em tempo real sobre seus pacotes e, assim, reduzindo sua dependência do centro de atendimento da Delhivery.

A empresa agora usa diversos painéis internamente para rastrear os pacotes e desempenho. Desenvolvido pelo Kibana, esses painéis permitem à Delhivery controlar a equipe de torre para rapidamente detectar bloqueios ou atrasos na rede de entrega. A equipe pode, então, visualmente explorar os dados subjacentes para identificar a causa raiz.

«Com o Kibana, podemos observar tudo o que está acontecendo em tempo real e, se virmos que as remessas estão ficando presas em um lugar específico, podemos resolver o problema imediatamente e alertar de forma proativa os nossos clientes», disse Kapil.

A análise mais profunda dos mesmos dados ao longo do tempo ajuda a Delhivery a identificar as oportunidades de aprimorar o desempenho. Isso poderia envolver otimizar a rota de pacotes ou levar mais membros da equipe a gerenciar períodos de pico.

«Uma das coisas mais legais do Kibana é que você não precisa ser um especialista para usá-lo, então nossas equipes de operação podem criar painéis complexos e personalizados para ajudar a tomar melhores decisões», disse Kapil.

Aumentando a inteligência e a escala

Inicialmente, a Delhivery gerenciava seus próprios clusters, mas a tarefa se tornou desafiadora conforme escalava e enfrentou um surto de atividades durante os meses festivos da Índica. Para ajudar a gerenciar esses desafios de escala e armazenamento, a Delhivery se tornou um usuário inicial do Elasticsearch Service (agora no Elastic Cloud, mas, na época, no Found.no). E, desde aquele momento, o relacionamento da Delhivery com a Elastic se expandiu junto com as suas operações.

«Passar para um serviço gerenciado nos deu grande flexibilidade para ampliar e nos permitiu focar nas nossas principais atividades», disse o Gerente de Engenharia Sênior e Arquiteto da Elasticsearch, Karan Argarwal. «Olhamos outras opções ao longo dos anos, incluindo a oferta da Elasticsearch da Amazon, mas continuamos com o Elasticsearch Service porque ele é executado por especialistas e sempre nos oferece acesso aos últimos recursos do Elastic Stack.»

A Delhivery está extraindo mais valor desses recursos após uma atualização recente da versão 5.x para a 6.5, que foi feita sem problemas com a ajuda do Elastic Support. A atualização também inseriu tipos de nós dedicados nos clusters, permitindo otimizar a memória e a CPU, além de estabilizar o desempenho.

A cada dia, a Delhivery ingere mais de cinco milhões de pontos de dados, incluindo dados geográficos de pacotes. Os dados fluem através do Kafka Stream para o Logstash e no cluster do Elasticsearch, onde é usado para alimentar os painéis do Kibana e aplicações personalizadas.

Example architecture

Arquitetura de transação/dados de evento

Example architecture

Arquitetura de dados de registro

O Kibana permanece instrumental no gerenciamento e monitoramento de operações diárias, com recursos de segurança do Elastic Stack usados para controlar quais dados podem ser acessados por cada indivíduo. Isso permite à Delhivery garantir a segurança e a privacidade de dados enquanto abre o Kibana para equipes da empresa, assim como o expõe para seus clientes finais de e-commerce.

As equipes podem visualizar uma ampla gama de métricas de desempenho no Kibana e usar o Elasticsearch para explorar anomalias e tendências. Por exemplo, se a torre de controle observar que o desempenho da rede de entregas cair para 97%, é possível observar o desempenho de cada instalação e, então, filtrar os dados para identificar o problema. Também é possível escolher monitorar aspectos específicos da rede ao usar as APIs do Elastic Stack para criar widgets de front-end com visualizações embutidas.

«A interface de API e documentação que dá suporte ao Elastic Stack é muito boa e torna fácil experimentar e rapidamente criar novos widgets e visualizações conforme diferentes necessidades surgem», diz Karan. «Para uma empresa neste espaço que está inovando rapidamente, é na verdade a melhor documentação que já vi.»

Da entrega last-mile para fornecedor de logística de classe mundial

Com o suporte proativo da Elastic, a Delhivery otimizou a saúde e a estabilidade de seus clusters e continua aproveitando os novos recursos e capacidades do Elastic Stack. Ela está explorando o uso do Elastic APM para monitoramento e alerta de sistemas de gerenciamento de transporte e armazém e microsserviços, assim como para visuais de rastreamento de pilha estendida das solicitações e interoperabilidade. A Delhivery também está investigando o uso do Canvas como forma de construir painéis conectáveis para suas equipes de instalações e, assim, reduzir a dependência de painéis criados de forma personalizada para vários casos de uso. Esses painéis dariam aos operadores e gerentes dados autoexplicativos e acionáveis que exibiriam flutuações em tempo real dos pacotes e outros eventos ocorrendo em cada instalação.

«Agora, nós estamos executando mais experimentos e explorando novos recursos e produtos, como o aprendizado de máquina, que daria à nossa torre de controle a capacidade de fazer previsões sobre a capacidade e o desempenho da nossa rede de entregas. Por exemplo, se há um pico na atividade em um centro, podemos analisar o que houve em outras instalações na linha», explicou Kapil.

A inteligência e a eficiência obtidas através do aprendizado de máquina e potenciais casos de uso para o Canvas e o Elastic APM ajudarão a Delhivery a reforçar sua expansão e capacidade de inovar. Hoje, o Elastic Stack ajuda a Delhivery a tomar decisões de forma mais rápida e melhor com relação a tudo, desde o fornecimento de recursos até o local onde construir sua próxima instalação, mas eles têm planos ambiciosos para alterar ainda mais o setor de logística com um sistema operacional e plataforma que poderiam ser aproveitados por outros.

Clusters da Delhivery

  • Clusters
    2
  • Ambiente de hospedagem
    Elasticsearch Service no Elastic Cloud na AWS
  • Documentos
    Cluster expresso - 86.906.895

    Cluster principal - 94.409.502
  • Taxa de ingestão diária
    Cluster expresso - média de 470/s com máximo de 1.000/s

    Cluster principal - média de 10/s com máximo de 50/s
  • Índices
    Cluster expresso (índices com base mensal, agrupados em 2 aliases) - 29

    Cluster principal - 15
  • Taxa de consulta
    Cluster expresso - média de 270/s com máximo de 400/s

    Cluster principal - média de 10/s com máximo de 15/s
  • Especificações de nó
    Cluster principal: 3 instâncias m5 de CPU de alta performance cada, com 8 GB de RAM e 64 GB de disco

    Monitoramento: 1 instância de E/S de alta performance de 4 GB de RAM e 96 GB de disco

    Expresso: 4 instâncias de dados de E/S de alta performance de 58 GB de RAM e 1,7 TB de disco

    3 instâncias r4 Master cada com 4 GB de RAM e 8 GB de disco, 2 instâncias m5 MI cada com 4 GB de RAM e 8 GB de disco