Manas Realtime — Enabling changes to be searchable in a blink of an eye

Manas Realtime — Enabling changes to be searchable in a blink of an eye

摘要

Manas是Pinterest内部的搜索引擎，是一个通用的信息检索平台。Manas被设计为一个具有高性能、可用性和可扩展性的搜索框架。今天，Manas为大多数Pinterest产品提供了搜索功能，包括Ads、搜索、Homefeed、Related Pins、Visual和Shopping。 搜索系统的关键指标之一是索引延迟，即更新搜索索引以反映变化所需的时间。随着系统能力的不断增强和新用例的上线，即时索引新文档的能力变得更加重要。Manas已经支持增量索引，能够提供数十分钟以内的索引延迟。不幸的是，这不能满足日益增长的来自Ads和follow feeds的业务需求。于是在Manas中构建了一个新的模块，进一步将索引延迟降低到几分之一秒。 在这篇文章中描述了系统的架构及其关键挑战，并给出了权衡的细节。