让 KV Cache「按头分家」：小红书 RedKnot 如何重做长文本推理新引擎

让 KV Cache 「按头分家」：小红书 RedKnot 如何重做长文本推理新引擎

摘要

RedKnot发现KV Cache的价值按注意力头分化，而非均匀分布。它通过按头分类稀疏、稀疏FFN和SegPagedAttention存储，将算法、存储与内核粒度统一。实验显示，该方法在保持质量的同时，最高实现5.16倍TTFT加速，单卡并发提升7.8倍，预填充算力削减近80%。