Jina Embeddings v4 的量化感知训练

Jina Embeddings v4 的量化感知训练

摘要

量化技术通过降低向量精度，大幅压缩模型体积，提升检索效率。训练后量化（PTQ）操作简单但精度损失较大，量化感知训练（QAT）则通过微调模型缓解性能下降。实验表明，4位和8位量化性能相近，滚动平均缩放优于最大最小值缩放。非对称量化仅压缩文档向量，保留查询精度，进一步提升效果。量化在AI模型落地中具有显著优势。