Presentación de Elasticsearch Relevance Engine™: Búsqueda avanzada para la revolución de la AI

Hoy presentamos Elasticsearch Relevance Engine™ (ESRE™), nuevas capacidades para crear aplicaciones de búsqueda de AI con alta relevancia. ESRE parte del liderazgo de Elastic en la búsqueda y más de dos años de investigación y desarrollo de machine learning. Elasticsearch Relevance Engine combina lo mejor de la AI con la búsqueda de texto de Elastic. ESRE brinda a los desarrolladores un conjunto completo de algoritmos de recuperación sofisticados y la capacidad de integración en modelos de lenguaje grandes (LLM). Y mejor aún, es accesible a través de una API simple unificada en la que la comunidad de Elastic ya confía, por lo que los desarrolladores de todo el mundo pueden comenzar a usarlo de inmediato para elevar la relevancia de búsqueda.

Las capacidades configurables de Elasticsearch Relevance Engine pueden usarse a fin de ayudar a mejorar la relevancia de la siguiente manera:

• Aplicando características de clasificación de relevancia avanzadas, entre ellas, BM25f, un componente esencial de la búsqueda híbrida
• Creando, almacenando y buscando incrustaciones densas mediante la base de datos de vectores de Elastic
• Procesando texto mediante una amplia variedad de modelos y tareas de procesamiento de lenguaje natural (NLP)
• Permitiendo a los desarrolladores gestionar y usar sus propios modelos de transformadores en Elastic para el contexto específico del negocio
• Integrándose con modelos de transformadores de terceros, como GPT-3 y 4 de OpenAI a través de API para recuperar un resumen intuitivo de contenido basado en los almacenes de datos del cliente consolidados dentro de los despliegues de Elasticsearch
• Permitiendo la búsqueda impulsada por ML sin entrenar o mantener un modelo gracias al modelo Learned Sparse Encoder listo para usar de Elastic para brindar una búsqueda semántica con alta relevancia en varios dominios
• Combinando con facilidad la recuperación densa y dispersa mediante la fusión de rango recíproco (RRF), un método de clasificación híbrido que brinda a los desarrolladores el control para optimizar su motor de búsqueda de AI conforme a su combinación única de lenguaje natural y tipos de búsqueda de palabras clave
• Integrándose con herramientas de terceros, como LangChain, para ayudar a crear pipelines de datos sofisticados y aplicaciones de AI generativa

La evolución de la búsqueda ha sido impulsada por la constante necesidad de mejorar la relevancia y las formas en las que interactuamos con las aplicaciones de búsqueda. Los resultados de búsqueda con alta relevancia pueden llevar a una mayor interacción de los usuarios en las apps de búsqueda con impactos posteriores importantes tanto en los ingresos como en la productividad. En el nuevo mundo de los LLM y la AI generativa, la búsqueda puede ir incluso más allá: comprender la intención del usuario para brindar un nivel de especificidad en las respuestas nunca antes visto.

En particular, cada avance en la búsqueda brinda mejor relevancia y aborda los nuevos desafíos que presentan las tecnologías emergentes y los comportamientos cambiantes de los usuarios. Ya sea mediante la ampliación de la búsqueda por palabras clave para ofrecer búsqueda semántica o la habilitación de nuevas modalidades para videos e imágenes, la nueva tecnología requiere herramientas únicas que permitan brindar mejores experiencias a los usuarios de búsquedas. Del mismo modo, la inteligencia artificial del mundo actual requiere un kit de herramientas para desarrolladores nuevo y sumamente escalable que se haya desarrollado a partir de una pila tecnológica con capacidades demostradas y probadas con clientes.

Con el impulso de la AI generativa y la adopción cada vez mayor de tecnologías como ChatGPT, además de la creciente toma de conciencia de las capacidades de los modelos de lenguaje grandes, los desarrolladores están ansiosos por experimentar con la tecnología para mejorar sus aplicaciones. Elasticsearch Relevance Engine marca el inicio de una nueva era de capacidades en el mundo de la AI generativa y enfrenta el día con herramientas poderosas que cualquier equipo de desarrolladores puede usar de inmediato.

Elasticsearch Relevance Engine está disponible ahora en Elastic Cloud, la única oferta de Elasticsearch hospedado que incluye todas las características nuevas en esta versión más reciente. También puedes descargar el Elastic Stack y nuestros productos de orquestación del cloud, Elastic Cloud Enterprise y Elastic Cloud para Kubernetes, para una experiencia autogestionada.

Elasticsearch Relevance Engine™ está bien posicionado para ayudar a los desarrolladores a evolucionar rápidamente y enfrentar estos desafíos de búsqueda de lenguaje natural, incluida la AI generativa.

1. Conciencia del contexto/datos empresariales: es posible que el modelo no tenga suficiente conocimiento interno relevante para un dominio en particular. Esto surge del set de datos a partir del cual se entrena el modelo. A fin de adaptar los datos y el contenido que generan los LLM, las empresas necesitan una forma de alimentar datos privados en los modelos de modo que aprendan a suministrar información más relevante específica para el negocio.
2. Relevancia superior: Elasticsearch Relevance Engine hace que integrar los datos de fuentes privadas sea tan simple como generar y almacenar incrustaciones de vectores para recuperar el contexto a través de la búsqueda semántica. Las incrustaciones de vectores son representaciones numéricas de palabras, frases o documentos que ayudan a los LLM a comprender el significado de las palabras y sus relaciones. Estas incrustaciones mejoran la salida del modelo de transformador a velocidad y escala. El ESRE también permite a los desarrolladores traer sus propios modelos de transformadores a Elastic o integrarse con modelos de terceros.
   
   También notamos que el surgimiento de modelos de interacción tardía nos permite ofrecer esto de fábrica, sin necesidad de un gran entrenamiento o de ajustar sets de datos de terceros. Dado que no todos los equipos de desarrollo tienen los recursos o la experiencia para entrenar y mantener modelos de machine learning o comprenden las compensaciones de escalado, rendimiento y velocidad, Elasticsearch Relevance Engine también incluye Elastic Learned Sparse Encoder, un modelo de recuperación desarrollado para la búsqueda semántica en distintos dominios. El modelo empareja incrustaciones dispersas con búsqueda BM25 tradicional basada en palabras clave para un puntuador de fusión de rango recíproco (RRF) fácil de usar para la búsqueda híbrida. El ESRE brinda a los desarrolladores relevancia impulsada por machine learning y técnicas de búsqueda híbrida desde el día uno.
3. Privacidad y seguridad: la privacidad de los datos es fundamental para la forma en que las empresas usan y transmiten de manera segura los datos privados en una red y entre componentes, incluso al desarrollar experiencias de búsqueda innovadoras.
   
   Elastic incluye soporte nativo para control de acceso basado en atributos y basado en roles a fin de asegurar que solo esos roles con acceso a los datos puedan verlos, incluso en aplicaciones de chat y respuesta a preguntas. Elasticsearch puede brindar soporte a las necesidades de tu organización para mantener ciertos documentos accesibles a individuos con privilegios, lo cual ayuda a tu organización a mantener controles de acceso y privacidad universales en todas tus aplicaciones de búsqueda.
   
   Cuando la privacidad es una de las principales prioridades, mantener los datos en la red de tu organización puede no solo ser fundamental, sino obligatorio. Desde permitir a tu organización implementar despliegues que se encuentran en un entorno aislado hasta brindar soporte para el acceso a redes seguras, el ESRE brinda las herramientas que necesitas para ayudar a tu organización a mantener seguros los datos.
4. Tamaño y costo: el uso de modelos de lenguaje grandes puede ser prohibitivo para muchas empresas debido a los volúmenes de datos y a la memoria y el poder de procesamiento requeridos. Aún así, las empresas que desean compilar sus propias apps de AI generativa, como chatbots, necesitan unir los LLM con sus datos privados.
   
   Elasticsearch Relevance Engine proporciona a las empresas el motor para brindar relevancia de manera eficiente con ventanas de contexto de precisión que ayudan a reducir el consumo de datos sin problemas ni gastos.
5. Desactualización: el modelo se congela en el momento en el que se recopilan los datos para el entrenamiento. Por lo tanto, el contenido y los datos que crean los modelos de AI generativa están actualizados solo hasta el momento del entrenamiento. Integrar datos corporativos es una necesidad inherente para impulsar resultados oportunos de los LLM.
6. Alucinaciones: al responder preguntas o conversar con el modelo, puede inventar hechos que suenen confiables y convincentes, pero que sean en realidad proyecciones que no estén basadas en hechos. Este es otro motivo por el cual basar los LLM en conocimiento contextual personalizado es tan importante para que los modelos sean útiles en un contexto comercial.
   
   Elasticsearch Relevance Engine permite a los desarrolladores establecer vínculos con sus propios almacenes de datos a través de una ventana de contexto en los modelos de AI generativa. Los resultados de búsqueda agregados pueden brindar información actualizada de una fuente privada o un dominio especializado y, por lo tanto, pueden devolver información más objetiva cuando se solicite, en lugar de depender solamente en el conocimiento denominado "paramétrico" de un modelo.