Manas HNSW Realtime: Powering Realtime Embedding-Based Retrieval

Manas HNSW Realtime: Powering Realtime Embedding-Based Retrieval

摘要

在上一篇文章中，我们介绍了我们的内部搜索引擎--Manas，并分享了我们如何大规模地提供基于术语的搜索服务。自推出以来，Manas已经成长为Pinterest的关键候选生成器之一，服务于许多超出其最初目的的用例。

特别是，基于嵌入的检索是Pinterest的发现和推荐引擎的一个关键组成部分。Manas传统上支持通过位置敏感哈希(LSH)在反向索引上进行近似最近邻(ANN)搜索，这是基于术语搜索引擎的自然扩展。在Hierarchical Navigable Small World graphs (HNSW)等新的先进技术发布后，我们在Manas中建立了一个灵活的基于嵌入的检索框架，使我们能够轻松地搭载新的ANN技术。我们使用新的框架向我们的批量索引集群推出了HNSW（从几分钟到几天的索引延迟），与LSH相比，我们节省了巨大的服务成本，降低了延迟。