Aumenta la precisión de búsqueda en un 30 %
Los usuarios de Consensus han visto un importante incremento de la precisión y la relevancia de los resultados de búsqueda con el agregado de ELSER, un modelo de ML patentado de Elastic.
Reduce la latencia de búsqueda en un 75 %
Con el despliegue de ELSER de Elastic, la latencia de búsqueda semántica se redujo de casi cuatro segundos a menos de un segundo.
Proporciona un roadmap para la innovación de búsqueda
Consensus tiene un socio de búsqueda a largo plazo con Elastic, con acceso a herramientas de búsqueda semántica, de vectores e impulsada por AI innovadoras.
Consensus es un motor de búsqueda que usa AI para encontrar información en publicaciones de investigación. Consensus 2.0 extrae información relevante según la pregunta de las publicaciones, basándose en la búsqueda de los usuarios. Esto permite brindar mayor flexibilidad y relevancia respecto a lo que está buscando el usuario.
Consensus transforma la investigación académica para un millón de usuarios con una versión nueva de su plataforma de búsqueda que posee búsqueda semántica y de texto avanzada de Elastic.
Lanzado en 2022, Consensus es un motor de búsqueda pionero que usa inteligencia artificial (AI) y modelos de lenguaje grandes (LLM) avanzados para agregar y destilar información de más de 200 millones de publicaciones revisadas por pares de la base de datos Semantic Scholar. Todos los dominios científicos están cubiertos, lo que hace que Consensus sea la opción preferida entre los investigadores en campos que van desde la medicina, la antropología y la psicología hasta las ciencias climáticas.
Cuando se lanzó por primera vez la aplicación, usaba un pipeline de inferencia, basado en varias soluciones que incluyen la configuración predeterminada en Elastic Search. Christian Salem, CPO, Consensus, afirma: "En ese entonces, éramos una de las pocas empresas de nuestro ámbito que usaban características de resumen mediante AI y LLM sobre un motor de búsqueda".
Pero un año es mucho tiempo en la inteligencia artificial. Dado que cada vez más empresas ingresan en el ámbito de la búsqueda con AI, se volvió más difícil destacarse en un mercado cada vez más numeroso. Para mantenerse al frente de la competencia, Consensus contrató ingenieros con experiencia en motores de búsqueda y AI a fin de mejorar la relevancia de búsqueda y la experiencia del usuario final. Chris Varano, ingeniero líder de búsqueda de Consensus con casi una década de experiencia en Amazon Search y Google, ayudó a liderar el proyecto ELSER de principio a fin.
El equipo creía inicialmente que una plataforma de búsqueda de vectores podría adaptarse para entregar un mejor rendimiento de búsqueda, pero pronto quedó en evidencia que no contaba con soporte de nivel de producción para millones de usuarios y muchas características léxicas útiles. Varano dice: "Podríamos haber desarrollado estas características de forma interna, pero era una opción costosa y que demandaba mucho tiempo para un equipo pequeño en un mercado que avanza con rapidez".
Consensus reformó por completo la manera en que funciona una búsqueda normal, gracias a que mejoró la velocidad, la precisión y, lo más importante, la relevancia de búsqueda central.
Lo mejor de ambos mundos: búsqueda de vectores y de texto
El equipo de Consensus recurrió a Elastic y recientemente lanzó una característica llamada ELSER (Elastic Learned Sparse Encoder). Este nuevo modelo de recuperación, entrenado por Elastic, permite a las empresas realizar búsquedas semánticas basadas en el significado contextual y la intención del usuario, además de coincidencias de palabras clave exactas. "Obtenemos todos los beneficios asociados a la búsqueda con AI de vectores sin perder las ventajas de la funcionalidad de búsqueda por palabras clave tradicional", explica Varano.
Con el lanzamiento de Consensus 2.0, impulsado por ELSER, los usuarios finales se benefician de una mayor precisión de búsqueda y nuevas características de AI generativa que proporcionan un resumen de los principales resultados. El software toma la consulta de búsqueda y ejecuta una combinación de búsqueda por palabras clave y búsqueda de vectores en las síntesis y los títulos de todas las publicaciones. Esto brinda a Consensus una medición inteligente de la relevancia de un documento para la búsqueda del usuario.
Esta puntuación de relevancia luego se combina con muchos otros metadatos que incluyen recuento de citas, velocidad de las citas y fecha de publicación para volver a ordenar los resultados y generar una lista de los principales 20 posibles resultados. El software Consensus luego ejecuta el modelo GPT-4 de OpenAI en los principales 10 resultados con el objetivo de generar un resumen de una oración de los principales estudios.
Como uno de los primeros usuarios de ELSER, el equipo de Consensus colaboró estrechamente con Elastic. "Una vez que lo pusimos en marcha, realmente superó nuestras expectativas. Desplazó a todas las otras pruebas de búsquedas de vectores que habíamos hecho", comenta Varano.
El equipo también hace hincapié en la importancia de la funcionalidad lista para usar de Elastic, que incluye características léxicas, coincidencia de frases exacta y búsqueda por palabras clave en general. El filtrado, la exclusión de términos y la coincidencia imprecisa también tuvieron un rol importante.
"Me sorprendió la cantidad de funcionalidades listas para usar de Elastic. Hay muchísimas herramientas y características que mejoran la experiencia de los usuarios que no necesitamos desarrollar".
ELSER y Elastic también proporcionan soporte subyacente para el flujo de trabajo de generación aumentada de recuperación (RAG), donde los resultados de búsqueda de Elastic forman la base para los resúmenes que genera ChatGPT. "Con Elastic y ELSER, tenemos gran confianza en la calidad de la búsqueda, y hay poco o nulo riesgo de que nuestra capa de AI alucine al generar resúmenes", afirma Salem.
Consensus también seleccionó originalmente a Elastic como una buena opción para sus aplicaciones e infraestructura subyacente hospedadas en Google Cloud. "Uno de los motivos por los que optamos por Elastic fue que se integra de manera sencilla con Google Cloud. Ambos ofrecen un alto nivel de configuración, y aún creemos que tenemos el control total de la infraestructura", explica Salem.
Consensus usa los avances más recientes en inteligencia artificial para democratizar la información científica y crea una plataforma que puede ser tanto un excelente sitio web de investigación para estudiantes como ayudar a aportar información revisada por pares de fuentes correctas en debates informales y mensajes en grupos familiares.
Búsqueda más rápida e inteligente
Con el lanzamiento de Consensus 2.0, impulsado por ELSER, los usuarios finales han visto una importante mejora de la relevancia de búsqueda con información extraída de las publicaciones específica según la pregunta y resúmenes generados por AI de los principales resultados. La búsqueda también es más rápida, con un tiempo promedio de búsqueda semántica de casi cuatro segundos reducido a menos de un segundo en la nueva versión. "Elastic marca una gran diferencia en nuestro ámbito. No somos solo una pequeña capa de AI sobre los datos de alguien más, somos dueños del motor de búsqueda y agregamos características de AI sobre eso", dice Salem.
Los números hablan por sí solos. Desde el lanzamiento, Consensus ha visto un aumento del 30 por ciento en la cantidad de búsquedas que generan resultados útiles para los usuarios finales. Salem también recibió comentarios positivos de usuarios que disfrutan poder usar búsquedas más flexibles. "No es necesario que usen los mismos términos exactos que en la publicación. Los sinónimos y términos coloquiales también devuelven resultados relevantes", agrega Salem.
Gran soporte para un equipo pequeño
Como empresa nueva en etapa temprana con aproximadamente 8 personas, el soporte de Elastic fue esencial para Consensus. Salem comenta: "Nuestra ejecutiva de cuentas de Elastic reunió a sus ingenieros y expertos para el proyecto. Ambos lo vieron como una oportunidad para crear un nuevo tipo de motor de búsqueda con la tecnología de AI más reciente".
"Estoy seguro de que Elastic tiene muchos clientes más grandes que nuestro equipo nuevo, pero no se siente así. Sentimos que nuestro proyecto era realmente una prioridad para el equipo de Elastic, y eso no es algo que suceda siempre con otros proveedores".
Un roadmap de AI hacia el futuro
Si bien aún están en la etapa inicial, Salem y el resto del equipo de Consensus esperan con ansias los lanzamientos de AI de Elastic futuros, en especial características de búsqueda de vectores que puedan combinarse con ELSER en el futuro. "Elastic va a la delantera a toda marcha con la búsqueda impulsada por AI y por LLM. Son un gran socio, dado que nos mantienen a la vanguardia de lo posible con la tecnología", afirma Salem.
Elastic también permite a Consensus mantener una ventaja en el ámbito sumamente competitivo de la búsqueda con AI. Salem ahora quiere ampliarse más allá de la investigación académica e incluir conjuntos de datos de alta calidad y conocimiento de expertos fuera de las revistas revisadas por pares. "Vivimos en un mundo en el que es más necesario que nunca obtener información certera y precisa directamente de la fuente. Elastic es un socio fundamental para la ampliación de nuestra oferta de búsqueda que tiene como objetivo satisfacer esta necesidad", comenta Salem.
