知鸦日报2026-07-04

2026-07-03 16:30:00 ~ 2026-07-04 16:30:00

Technology

摘要

大模型推理依赖KV Cache加速，但默认不跨请求复用。前缀缓存通过缓存公共前缀，使多轮agent对话命中率高达90%。命中率是“只追加”模式的必然结果，高命中率虽好，但不能简单等同于省钱。

登录后可查看文章图片