Aumenta a precisão da busca em 30%
Os usuários do Consensus observaram um aumento significativo na precisão e na relevância dos resultados de busca com a adição do ELSER, um modelo de ML proprietário da Elastic.
Reduz a latência da busca em 75%
Com a implantação do ELSER da Elastic, a latência da busca semântica foi reduzida de quase quatro segundos para menos de um.
Fornece um roadmap para inovação na busca
A Consensus tem na Elastic um parceiro de busca de longo prazo, com acesso a ferramentas inovadoras de busca semântica, vetorial e baseada em IA.
O Consensus é um mecanismo de busca que usa IA para encontrar insights em artigos de pesquisa. O Consensus 2.0 extrai informações relevantes para a pergunta dos artigos, com base na consulta do usuário. Isso possibilita que os resultados sejam mais flexíveis e relevantes para o que o usuário procura.
A Consensus transforma a pesquisa acadêmica para um milhão de usuários com uma nova versão de sua plataforma de busca com a busca semântica e de texto avançada da Elastic.
Lançado em 2022, o Consensus é um mecanismo de busca pioneiro que usa inteligência artificial (IA) avançada e grandes modelos de linguagem (LLMs) para agregar e extrair insights de mais de 200 milhões de artigos revisados por pares do banco de dados Semantic Scholar. Todos os domínios científicos são cobertos, tornando o Consensus uma opção preferida entre pesquisadores de áreas tão diversas como medicina, antropologia, psicologia e ciências climáticas.
Quando a aplicação foi lançada, ela usava um pipeline de inferência baseado em diversas soluções, incluindo as configurações padrão do Elastic Search. Christian Salem, CPO da Consensus, diz: “Na época, éramos uma das poucas empresas em nosso segmento a usar LLMs e recursos de resumo de IA em um mecanismo de busca.”
Mas um ano é muito tempo em inteligência artificial. Com mais empresas entrando no segmento de busca com IA, ficou mais difícil se destacar em um mercado cada vez mais concorrido. Para se manter à frente da concorrência, a Consensus contratou engenheiros com experiência em mecanismos de busca e IA para melhorar a relevância da busca e a experiência do usuário final. Chris Varano, engenheiro-chefe de busca da Consensus, com quase uma década de experiência no Amazon Search e no Google, ajudou a liderar o projeto ELSER do início ao fim.
A equipe inicialmente acreditava que uma plataforma de busca vetorial poderia ser adaptada para oferecer melhor desempenho na busca, mas logo ficou claro que faltava suporte em nível de produção para milhões de usuários e muitos recursos lexicais úteis. Varano diz: “Poderíamos ter desenvolvido esses recursos internamente, mas para uma equipe pequena em um mercado em rápida evolução, era uma opção cara e demorada.”
A Consensus reformulou completamente a forma como uma busca normal funciona, melhorando a velocidade, a precisão e, o mais importante, a relevância da busca principal.
O melhor dos dois mundos: busca vetorial e de texto
A equipe da Consensus recorreu à Elastic e a seu recurso recém-lançado chamado ELSER (Elastic Learned Sparse Encoder). Esse novo modelo de recuperação, treinado pela Elastic, permite que as empresas realizem buscas semânticas com base no significado contextual e na intenção do usuário, além de correspondências exatas de palavras-chave. “Obtemos todos os benefícios associados à busca vetorial de IA e mantemos as vantagens da funcionalidade tradicional de busca por palavra-chave”, diz Varano.
Com o lançamento do Consensus 2.0, com a tecnologia do ELSER, os usuários finais se beneficiam de maior precisão na busca e de novos recursos de IA generativa que fornecem um resumo dos principais resultados. O software pega a consulta e executa uma combinação de busca por palavra-chave e busca vetorial nos resumos e títulos de todos os artigos. Isso dá ao Consensus uma medida inteligente da relevância de um documento para a consulta do usuário.
Essa pontuação de relevância é então combinada com muitos outros metadados, incluindo contagem de citações, velocidade das citações e data de publicação para reclassificar os resultados e produzir os 20 melhores resultados possíveis. O software Consensus então executa o modelo GPT-4 da OpenAI sobre os 10 melhores resultados para produzir um resumo de uma frase dos principais estudos.
Estando entre os primeiros usuários do ELSER, a equipe da Consensus colaborou estreitamente com a Elastic. “Quando o colocamos em funcionamento, ele realmente superou nossas expectativas. Ele acabou com todos os outros testes de busca vetorial que havíamos feito”, diz Varano.
A equipe também enfatiza a importância da funcionalidade pronta para uso da Elastic, incluindo recursos lexicais, correspondência exata de frases e busca por palavra-chave em geral. Filtragem, exclusão de termos e correspondência difusa também desempenharam um papel significativo.
“Fiquei surpreso com a quantidade de funcionalidades que a Elastic oferece prontas para uso. Existem muitas ferramentas e recursos que melhoram a experiência dos nossos usuários e que não precisamos criar.”
O ELSER e o Elastic também fornecem suporte subjacente para o fluxo de trabalho de geração aumentada de recuperação (RAG) do Consensus, no qual os resultados de busca do Elastic formam a base para os resumos gerados pelo ChatGPT. “Com o Elastic e o ELSER, temos muita confiança na qualidade da busca e há pouco ou nenhum risco de nossa camada de IA ter alucinações ao gerar resumos”, diz Salem.
A Consensus também selecionou originalmente a Elastic como uma boa opção para sua infraestrutura subjacente e as aplicações hospedadas no Google Cloud. “Um dos motivos pelos quais optamos pelo Elastic foi porque ele se integra facilmente ao Google Cloud. Ambos são altamente configuráveis e ainda sentimos que temos controle total da infraestrutura”, diz Salem.
A Consensus usa os mais recentes avanços em inteligência artificial para democratizar os insights científicos e cria uma plataforma que pode ser tanto um ótimo site de pesquisa para estudantes como pode ajudar a trazer informações de fontes adequadas e revisadas por pares para uma discussão na mesa de bar e para um texto no grupo da família.
Busca mais rápida e inteligente
Com o lançamento do Consensus 2.0, com a tecnologia do ELSER, os usuários finais observaram uma melhoria significativa na relevância da busca com informações específicas de perguntas, extraídas de artigos e resumos dos principais resultados gerados por IA. A busca também é mais rápida, com um tempo médio de busca semântica de quase quatro segundos reduzido para menos de um segundo com a nova versão. “O Elastic é um grande diferencial no nosso segmento. Não somos apenas um invólucro fino de IA sobre os dados de outra pessoa, somos os donos do mecanismo de busca e estamos adicionando recursos de IA a ele”, diz Salem.
Os números falam por si. Desde o lançamento, o Consensus registrou um aumento de 30% no número de consultas que geram resultados úteis para os usuários finais. Salem também recebeu feedback positivo de usuários que gostam de poder usar consultas mais flexíveis. “Eles não precisam usar exatamente os mesmos termos do artigo. Sinônimos e termos coloquiais também retornam resultados relevantes”, diz Salem.
Grande suporte para uma equipe pequena
Por ser uma startup em estágio inicial com cerca de oito pessoas, foi essencial para a Consensus contar com o suporte da Elastic. Salem diz: “Nossa executiva de contas da Elastic reuniu seus engenheiros e especialistas em torno do projeto. Ambas as partes viram isso como uma oportunidade de construir um novo tipo de mecanismo de busca com a mais recente tecnologia de IA.”
“Tenho certeza de que a Elastic tem muitos clientes maiores que a equipe da nossa startup, mas eles não nos passam essa impressão. Parecia realmente que nosso projeto era uma prioridade para a equipe da Elastic, o que nem sempre acontece com outros fornecedores.”
Um roadmap de IA para o futuro
Embora o Elastic AI ainda esteja em seus primeiros dias, Salem e o restante da equipe da Consensus estão ansiosos para ver o que virá com lançamentos futuros, especialmente recursos de busca vetorial que podem ser combinados com o ELSER. “A Elastic está avançando a todo vapor com a busca baseada em IA e LLM. É um ótimo parceiro porque nos mantém na vanguarda do que é possível com a tecnologia”, diz Salem.
A Elastic também permite que a Consensus mantenha uma vantagem no segmento altamente competitivo da busca com IA. Salem agora quer ir além da pesquisa acadêmica e incluir conjuntos de dados de alta qualidade e conhecimento especializado fora dos periódicos revisados por pares. “Vivemos num mundo onde há uma necessidade maior do que nunca de obtermos informações corretas e precisas, diretamente da fonte. A Elastic é um parceiro fundamental à medida que ampliamos nossa oferta de busca na esperança de atender a essa necessidade”, diz Salem.
