HNSW分布式构建实践

HNSW 分布式构建实践

摘要

随着大模型时代的到来，向量检索领域面临着前所未有的挑战。embedding的维度和数量空前增长，这在工程上带来了极大的挑战。智能引擎事业部负责阿里巴巴搜推广及AI相关工程系统的设计和建设，我们在实际业务迭代与发展中遭遇了embedding维度和数量扩张带来的诸多问题，其中索引构建时间问题尤为突出。