搜索准确度提高 30%
在平台引入 Elastic 的专有 ML 模型 ELSER 后，Consensus 用户发现搜索结果的准确性和相关性显著提高。
搜索延迟缩短 75%
通过部署 Elastic 的 ELSER，语义搜索延迟从近 4 秒缩短到不到 1 秒。
为搜索创新提供路线图
Consensus 与 Elastic 建立了长期合作伙伴关系，可以使用创新的语义、矢量和 AI 驱动型搜索工具。
Consensus 是一个使用 AI 来从研究论文中收获洞察的搜索引擎。Consensus 2.0 会基于用户查询，从论文中提取与问题相关的信息。这让用户能够获得更灵活、与其查找内容更相关的结果。
Consensus 通过具有 Elastic 高级语义和文本搜索功能的新版本搜索平台，为百万用户实现了学术研究转型。
Consensus 是一款于 2022 年推出的开创性搜索引擎，它会利用先进的人工智能 (AI) 和大型语言模型 (LLM)，聚合 Semantic Scholar 数据库中 2 亿多篇同行评审论文并从中提取洞察。由于平台涉及所有科学领域，这使得 Consensus 成为医学、人类学、心理学和气候科学等各个领域研究者的首选。
在该应用程序刚开始推出时，它使用的是基于大量解决方案的推理管道，这些解决方案中就包括 Elastic 搜索解决方案中的默认设置。Consensus 的首席产品官 (CPO) Christian Salem 表示：“当时，我们是我们领域在搜索引擎基础上使用 LLM 和 AI 汇总功能的少数几家公司之一。”
但是，人工智能在一年期间就能发生巨大变化。随着更多公司开始进入 AI 搜索领域，想在越来越拥挤的市场中脱颖而出越来越难了。为了保持竞争优势，Consensus 聘请了拥有搜索引擎和 AI 专业知识的工程师，以提高搜索相关性和最终用户体验。Consensus 的首席搜索工程师 Chris Varano 之前曾在 Amazon 的搜索项目和 Google 拥有近十年的经验，他从到头尾带领完成了 ELSER 项目。
团队开始觉得可以对矢量搜索平台进行调整以实现更好的搜索性能，但很快就清醒地意识到，矢量搜索平台不能向数百万用户提供生产级支持，同时也缺少很多有用的词汇功能。Varano 说：“我们固然可以在内部构建这些功能，但由于我们身处一个快速变化的市场中，而且我们的团队很小，这个选择无疑代价高昂，同时也很耗费时间。”
Consensus 已经彻底修改了正常搜索的运行方式，从而提高了速度和精度，更为重要的是，提高了核心搜索相关性。
矢量和文本搜索这两个领域的强强联合
Consensus 选择了 Elastic 以及其新推出的功能：ELSER（Elastic 学习型稀疏编码器，Elastic Learned Sparse Encoder）。通过这个由 Elastic 训练的新检索模型，除了准确的关键字匹配，业务部门还能够基于上下文意思和用户意图执行语义搜索。“我们获得了与矢量 AI 搜索相关的所有益处，同时还能保留传统关键字搜索功能的优势。”Varano 说道。
随着由 ELSER 提供支持的 Consensus 2.0 的推出，最终用户受益于更高的搜索准确度，并能使用可对靠前结果进行总结的崭新的生成式 AI 功能。该软件接收搜索查询，并在所有论文的摘要和标题上同时运行关键词搜索和向量搜索。这为 Consensus 提供了一个智能度量，可用于衡量文档与用户查询的相关性。
然后 Consensus 将此相关性得分与许多其他元数据（包括引用计数、引用速度和发布日期）结合起来，对结果进行重新排列并生成前 20 个可能的结果。然后，Consensus 软件会针对前10个结果运行 OpenAI 的 GPT-4 模型，以针对排名靠前的研究生成一句话总结。
作为 ELSER 最早期的用户之一，Consensus 团队与 Elastic 进行了密切合作。“一旦我们成功让它运行起来，它真的超出了我们的期望。它击败了我们之前进行过的所有其他矢量搜索测试。”Varano 说道。
该团队还强调了 Elastic 开箱即用功能的重要性，包括词汇特征、精确短语匹配和普通的关键字搜索。过滤、排除术语和模糊匹配也发挥了重要作用。
“我对 Elastic 能够提供这么多的开箱即用功能感到十分惊喜。有这么多工具和功能可以改善我们用户的体验，我们完全不需要自己构建。”
ELSER 和 Elastic 还为 Consensus 的检索增强生成 (RAG) 工作流提供底层支持，因为 Elastic 搜索结果正是 ChatGPT 所生成摘要的基础。“通过使用 Elastic 和 ELSER，我们对搜索质量非常有信心；并且在生成摘要时，我们的 AI 层几乎没有或者根本没有出现错误的风险。”Salem 说道。
Consensus 最初还选择了 Elastic 作为其基础架构和托管在 Google Cloud上的应用程序的适配方案。“我们选择 Elastic 的原因之一是它与 Google Cloud 集成非常容易。两者都具有高度可配置性，而且我们仍然感觉自己对基础架构拥有完全控制权。”Salem 说道。
Consensus 使用人工智能领域的最新进展让更多的人获得科学洞察，并创建了一个优秀的平台，此平台既可以作为面向学生的优秀搜索网站，也可以将通过正当方式获取的同行评审信息带到酒吧讨论或家庭成员群聊天中。
更快、更智能的搜索
随着由 ELSER 提供支持的 Consensus 2.0 的发布，最终用户在搜索相关性方面看到了显著改进，因为该版本会从论文中提取针对具体问题的信息，并针对排名靠前的结果生成 AI 摘要。新版本的搜索速度也更快，平均语义搜索时间从近四秒缩短到不到一秒。“在我们领域，Elastic 是一个巨大的差异化因素。我们不仅仅是在别人数据之上添加薄薄的 AI 外壳，我们拥有自己的搜索引擎，并在其基础上增加了 AI 功能。”Salem 说道。
数字能说明一切。自发布以来，Consensus 看到能够为最终用户产生有用结果的查询的数量增加了 30%。Salem 同时也收到了用户的积极反馈，因为他们非常喜欢能够使用更加灵活的查询。“他们无须再使用和论文一模一样的术语。同义词和俚语词汇也能返回相关的结果。”Salem 说道。
为小团队提供巨大支持
我们是一个只有大约 8 人的早期初创企业，支持对 Consensus 至关重要。Salem 说道：“我们的 Elastic 客户主管针对这个项目召集了她的工程师和专家。双方都将这个项目看作使用最新 AI 技术构建新型搜索引擎的机遇。”
“我很确定 Elastic 有很多比我们这个初创团队规模大的客户，但我们却感觉不到任何差别待遇。我们觉得自己的项目是 Elastic 真正的高优先级项目，与其他供应商合作时，有时我们会觉得自己的项目并未得到供应商的足够重视。”
通往未来的 AI 路线图
尽管现在仍处于早期阶段，但 Salem 和 Consensus 的其他团队都在期待着 Elastic AI 的未来版本，尤其是能够与 ELSER 相结合的矢量搜索功能。“Elastic 在 AI 和 LLM 驱动型搜索方面正在全力以赴。他们是很好的合作伙伴，因为他们让我们一直保持在最前沿，了解技术所能实现的可能性。”Salem 说道。
Elastic 同时还让 Consensus 能够在竞争异常激烈的 AI 搜索领域保持竞争优势。Salem 现在希望进行扩展，不再只局限于学术研究，将同行评审期刊之外的高质量数据集和专家知识也包含进来。“在我们生活的这个世界上，人们对直接来自数据源的精准信息有着比以往任何时候都更巨大的需求。在我们扩展搜索产品以期望填补此需求的过程中，Elastic 是一个关键合作伙伴。”Salem 表示，
