介绍 Elasticsearch Relevance Engine™ — 为 AI 变革提供高级搜索能力

我们今天要介绍的 Elasticsearch Relevance Engine™ (ESRE™)，提供了多项用于创建高度相关的 AI 搜索应用程序的新功能。ESRE 站在 Elastic 这个搜索领域的巨人肩膀之上，并基于两年多的 Machine Learning 研发成就构建而成。Elasticsearch Relevance Engine 将 AI 的最佳实践与 Elastic 的文本搜索进行了结合。ESRE 为开发人员提供了一整套成熟的检索算法，并能够与大型语言模型 (LLM) 集成。不仅如此，ESRE 还可通过已经得到 Elastic 社区信任的简单、统一的 API 访问，因此世界各地的开发人员都可以立即开始使用它来提升搜索相关性。

Elasticsearch Relevance Engine 的可配置功能可用于通过以下方式帮助提高相关性：

• 应用包括 BM25f（这是混合搜索的关键组成部分）在内的高级相关性排序功能
• 使用 Elastic 的矢量数据库创建、存储和搜索密集嵌入
• 使用各种自然语言处理 (NLP) 任务和模型处理文本
• 让开发人员在 Elastic 中管理和使用自己的转换器模型，以适应业务特定的上下文
• 通过 API 与第三方转换器模型（如 OpenAI 的 GPT-3 和 4）集成，以根据客户在 Elasticsearch 部署中整合的数据存储，检索直观的内容摘要
• 使用 Elastic 开箱即用型的 Learned Sparse Encoder 模型，无需训练或维护模型，就能实现 ML 支持的搜索，从而在各种域提供高度相关的语义搜索
• 使用倒数排序融合 (RRF) 轻松组合稀疏和密集检索；倒数排序融合是一种混合排名方法，让开发人员能够自行优化 AI 搜索引擎，以符合他们独特的自然语言和关键字查询类型的组合
• 与 LangChain 等第三方工具集成，以帮助构建复杂的数据管道和生成式 AI 应用程序

不断需要提高相关性以及改进我们与搜索应用程序交互的方式，一直是推动搜索发展的动力。高度相关的搜索结果不仅可以提高用户对搜索应用的参与度，而且还会对收入和工作效率产生显著的下游影响。在 LLM 和生成式 AI 的新世界中，搜索可以走得更远 — 理解用户意图，以前所未有的详细程度提供回应。

值得注意的是，每一项搜索的进步都提供了更好相关性，同时还解决了新兴技术和不断变化的用户行为所带来的新挑战。无论是扩展关键字搜索以提供语义搜索，还是为视频和图像启用新的搜索模式，新技术都需要独特的工具来为搜索用户提供更好的体验。同样，当今的人工智能世界也需要一个全新的、高度可扩展的开发人员工具包，而且构建这个工具包所基于的技术堆栈必须具有经客户检验的成熟功能。

随着生成式 AI 的发展势头不断增强和对 ChatGPT 等技术的采用日益增多，以及对大型语言模型功能的认识越来越深入，开发人员迫切想利用技术来改进他们的应用程序。Elasticsearch Relevance Engine 为生成式 AI 世界带来了全新的功能，并为任何开发人员团队都提供了可立即使用的强大工具。

Elasticsearch Relevance Engine 现已在 Elastic Cloud 上正式推出，这是唯一一个包含此最新版中所有新功能的托管型 Elasticsearch 产品。此外，您也可以下载 Elastic Stack 以及我们的云编排产品（Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes）进行自管型部署。

Elasticsearch Relevance Engine™ 非常适合助力开发人员快速发展，并应对包括生成式 AI 在内的自然语言搜索方面的这些挑战。

1. 企业数据/上下文感知：模型可能没有足够的与特定域相关的内部知识。这要源于训练模型的数据集。为了定制 LLM 生成的数据和内容，企业需要一种方法来向模型馈送专有数据，以便模型能够学会提供更相关、特定于业务的信息。
2. 卓越的相关性：Elasticsearch Relevance Engine 让整合来自私有来源的数据变得非常简单，只需生成和存储矢量嵌入，便可使用语义搜索来检索上下文。矢量嵌入是单词、短语或文档的数字化表示，可以帮助 LLM 理解单词的含义及其关系。这些嵌入可以增强转换器模型的输出速度和规模。此外，ESRE 还可让开发人员将自己的转换器模型引入到 Elastic 中或与第三方模型集成。
   
   我们也意识到，后期交互模型的出现使我们能够提供这种开箱即用型的功能，而无需对第三方数据集进行大量训练或微调。由于并非每个开发团队都有资源或专业知识来训练和维护 Machine Learning 模型，也不了解如何在规模、性能和速度之间进行权衡，因此 Elasticsearch Relevance Engine 还提供了一个为跨不同域进行语义搜索而构建的检索模型 Elastic Learned Sparse Encoder。该模型将稀疏嵌入与传统的基于关键字的 BM25 搜索配对，为混合搜索提供了一个易于使用的倒数排序融合 (RRF) 评分器。ESRE 从一开始就为开发人员提供了 Machine Learning 驱动的相关性和混合搜索技术。
3. 隐私和安全：数据隐私是企业如何通过网络和在组件之间使用和安全地传递专有数据的核心，即使在构建创新的搜索体验时也是如此。
   
   Elastic 提供对基于角色和基于属性的访问控制的原生支持，以确保只有那些有权限访问数据的角色才能看到数据，即使对于聊天和问题回答应用程序也可以进行如此设置。Elasticsearch 可以支持您的组织保持某些文档可供特权个人访问的需求，从而帮助组织维护所有搜索应用程序的通用隐私和访问控制。
   
   当隐私是最重要的关注点时，将所有数据保留在组织的网络内，不仅至关重要，而且是强制性的。从允许组织在气隙环境中实施部署，到支持访问安全网络，ESRE 提供了您所需的各种工具，助力您的组织保护数据安全。
4. 规模和成本：由于数据量以及所需的计算能力和内存，使用大型语言模型可能会让许多企业望而却步。然而，想要构建自己的生成式 AI 应用（如聊天机器人）的企业需要将 LLM 与他们的私有数据结合起来。
   
   Elasticsearch Relevance Engine 为企业提供了一种可通过精确的上下文窗口高效提供相关性的引擎，既有助于减少数据占用空间，又不会增加工作量和费用。
5. 过时：模型在收集训练数据的时候就已被冻结在过去的某一时间点上。因此，生成式 AI 模型所创建内容和数据只有在基于它们进行训练时才是最新的。整合公司数据是让 LLM 能够提供及时结果的内在需求。
6. 幻觉：当回答问题或进行交互式对话时，LLM 模型可能会编造一些听起来可信和令人信服的事实，但实际上是一些不符合事实的预测。这也是为什么需要将 LLM 与具有上下文、定制的知识相结合的另一个原因，这对于让模型在商业环境中发挥作用至关重要。
   
   借助 Elasticsearch Relevance Engine，开发人员可通过生成式 AI 模型中的上下文窗口关联到自己的数据存储。添加的搜索结果可以提供来自私有来源或专业领域的最新信息，因此在有询问时可以返回更多的事实信息，而不是仅仅依赖于模型所谓的“参数化”知识。