Apresentamos o Elasticsearch Relevance Engine™ — busca avançada para a revolução da IA

Hoje estamos apresentando o Elasticsearch Relevance Engine™ (ESRE™), com novas funcionalidades para criar aplicações de busca de IA altamente relevantes. O ESRE se baseia na liderança da Elastic em busca e em mais de dois anos de pesquisa e desenvolvimento de machine learning. O Elasticsearch Relevance Engine combina o melhor da IA com a busca de texto da Elastic. O ESRE oferece aos desenvolvedores um conjunto completo de sofisticados algoritmos de recuperação e a capacidade de integração com grandes modelos de linguagem (LLMs, pelas iniciais em inglês). Melhor ainda, é acessível por meio de uma API simples e unificada na qual a comunidade da Elastic já confia, para que desenvolvedores de todo o mundo possam começar a usá-la imediatamente para aumentar a relevância da busca.

As funcionalidades configuráveis do Elasticsearch Relevance Engine podem ser usadas para ajudar a melhorar a relevância ao:

• Aplicar recursos avançados de classificação de relevância, incluindo BM25f, um componente crítico da busca híbrida
• Criar, armazenar e buscar embeddings densos usando o banco de dados vetorial da Elastic
• Processar texto usando uma ampla variedade de modelos e tarefas de processamento de linguagem natural (PLN)
• Permitir que os desenvolvedores gerenciem e usem seus próprios modelos transformadores no Elastic para contextos específicos de negócios
• Fazer a integração com modelos transformadores de terceiros como o GPT-3 e 4 da OpenAI via API para recuperar um resumo intuitivo do conteúdo com base nos datastores do cliente consolidados nas implantações do Elasticsearch
• Habilitar a busca baseada em ML sem treinar ou manter um modelo usando o modelo Learned Sparse Encoder pronto para uso da Elastic para fornecer busca semântica altamente relevante em vários domínios
• Combinar facilmente recuperação esparsa e densa usando Reciprocal Rank Fusion (RRF), um método de classificação híbrido que dá aos desenvolvedores controle para otimizar seu mecanismo de busca de IA para sua combinação única de linguagem natural e tipos de consulta de palavras-chave
• Fazer a integração com ferramentas de terceiros como o LangChain para ajudar a criar pipelines de dados sofisticados e aplicações de IA generativa

A evolução da busca foi impulsionada por uma necessidade constante de melhorar a relevância e as formas como interagimos com as aplicações de busca. Resultados de busca altamente relevantes podem levar a um maior envolvimento do usuário em apps de busca, com impactos downstream significativos na receita e na produtividade. No novo mundo dos LLMs e da IA generativa, a busca pode ir ainda mais longe, entendendo a intenção do usuário para fornecer um nível de especificidade nas respostas jamais visto.

Notavelmente, cada avanço na busca oferece melhor relevância ao mesmo tempo que precisa lidar com novos desafios impostos pelas tecnologias emergentes e pela mudança no comportamento do usuário. Seja expandindo a busca por palavra-chave para oferecer busca semântica ou viabilizando novas modalidades de busca para vídeo e imagens, a nova tecnologia requer ferramentas únicas para proporcionar melhores experiências aos usuários. Da mesma forma, o mundo atual da inteligência artificial exige um kit de ferramentas para desenvolvedores novo e altamente escalável, construído com base em um conjunto de tecnologia com funcionalidades comprovadas e testadas pelo cliente.

Com o impulso da IA generativa e o aumento da adoção de tecnologias como o ChatGPT, bem como a crescente conscientização sobre as funcionalidades dos grandes modelos de linguagem, os desenvolvedores estão ansiosos para fazer experimentos com a tecnologia para melhorar suas aplicações. O Elasticsearch Relevance Engine inaugura uma nova era de funcionalidades no mundo da IA generativa e chega trazendo ferramentas poderosas que qualquer equipe de desenvolvedores pode usar imediatamente.

O Elasticsearch Relevance Engine já está disponível no Elastic Cloud, a única solução hospedada do Elasticsearch a incluir todos os novos recursos da versão mais recente. Você também pode baixar o Elastic Stack e nossos produtos de orquestração em nuvem — Elastic Cloud Enterprise e Elastic Cloud for Kubernetes — para ter uma experiência autogerenciada.

O Elasticsearch Relevance Engine™ está bem posicionado para ajudar os desenvolvedores a evoluir rapidamente e enfrentar esses desafios da busca em linguagem natural, incluindo IA generativa.

1. Reconhecimento de contexto/dados empresariais. O modelo pode não ter conhecimento interno suficiente que seja relevante para um determinado domínio. Isso decorre do conjunto de dados no qual o modelo é treinado. Para adaptar os dados e o conteúdo que os LLMs geram, as empresas precisam de uma maneira de alimentar os modelos com dados proprietários para que eles possam aprender a fornecer informações mais relevantes e específicas do negócio.
2. Relevância superior. O Elasticsearch Relevance Engine torna a integração de dados de fontes privadas tão simples quanto gerar e armazenar embeddings vetoriais para recuperar o contexto usando a busca semântica. Os embeddings vetoriais são representações numéricas de palavras, frases ou documentos que ajudam os LLMs a entender os significados das palavras e seus relacionamentos. Esses embeddings aprimoram a saída do modelo transformador em velocidade e escala. O ESRE também permite que os desenvolvedores tragam seus próprios modelos transformadores para o Elastic ou façam a integração com modelos de terceiros.
   
   Também percebemos que o surgimento de modelos de interação tardia nos permite fornecer isso pronto para uso, sem a necessidade de treinamento extensivo ou ajuste fino nos conjuntos de dados de terceiros. Como nem toda equipe de desenvolvimento tem os recursos e a experiência para treinar e manter modelos de machine learning nem entender o equilíbrio entre escala, desempenho e velocidade, o Elasticsearch Relevance Engine também inclui o Elastic Learned Sparse Encoder, um modelo de recuperação criado para busca semântica em diversos domínios. O modelo combina embeddings esparsos com busca BM25 tradicional baseada em palavras-chave, proporcionando um scorer de Reciprocal Rank Fusion (RRF) fácil de usar para busca híbrida. O ESRE oferece aos desenvolvedores relevância baseada em machine learning e técnicas de busca híbrida desde o primeiro dia.
3. Privacidade e segurança. A privacidade dos dados é fundamental para a forma como as empresas usam e transmitem com segurança dados proprietários por uma rede e entre componentes, mesmo ao criar experiências de busca inovadoras.
   
   O Elastic inclui suporte nativo para controle de acesso por função e atributo para garantir que apenas as funções com acesso aos dados possam vê-los, mesmo para aplicações de chat e resposta a perguntas. O Elasticsearch pode atender à necessidade da sua organização de manter determinados documentos acessíveis a indivíduos privilegiados, ajudando sua organização a preservar a privacidade universal e os controles de acesso em todas as suas aplicações de busca.
   
   Quando a privacidade é a maior preocupação, manter todos os dados dentro da rede da sua organização pode ser não apenas primordial, mas obrigatório. O ESRE fornece as ferramentas necessárias para ajudar sua organização a manter seus dados seguros, desde permitir a implementação de implantações que estão em um ambiente air-gapped até oferecer suporte ao acesso a redes seguras.
4. Tamanho e custo. O uso de grandes modelos de linguagem pode ser proibitivo para muitas empresas devido aos volumes de dados e à capacidade de computação e memória necessária. No entanto, as empresas que querem criar seus próprios apps de IA generativa, como chatbots, precisam combinar os LLMs com seus dados privados.
   
   O Elasticsearch Relevance Engine oferece às empresas o mecanismo para fornecer relevância de forma eficiente, com janelas de contexto de precisão que ajudam a reduzir o volume de dados sem problemas e despesas.
5. Desatualização. O modelo é congelado no tempo no ponto em que os dados de treinamento são coletados. Portanto, o conteúdo e os dados criados pelos modelos de IA generativa são tão atualizados quanto os dados nos quais eles são treinados. Integrar dados corporativos é uma necessidade inerente para potencializar resultados oportunos dos LLMs.
6. Alucinações. Em respostas a perguntas ou conversas, o modelo pode inventar fatos que parecem confiáveis e convincentes, mas que, na verdade, são projeções que não são factuais. Essa é outra razão pela qual fundamentar os LLMs com conhecimento contextual e customizado é tão essencial para tornar os modelos úteis em um contexto de negócios.
   
   O Elasticsearch Relevance Engine permite que os desenvolvedores se conectem a seus próprios datastores por meio de uma janela de contexto em modelos de IA generativa. Os resultados de busca adicionados podem fornecer informações atualizadas de uma fonte privada ou domínio especializado e, portanto, podem retornar mais informações factuais quando solicitado, em vez de depender apenas do chamado conhecimento “paramétrico” do modelo.