Gisting: Compressing LLM Agent context to ↑ throughput and ↓ cost

Gisting: Compressing LLM Agent context to ↑ throughput and ↓ cost

摘要

gisting技术通过知识蒸馏将长系统提示压缩为短提示符，大幅降低推理成本和GPU需求。在4:1压缩比下，请求延迟下降38%，吞吐量提升16%，GPU用量减少14%。该技术可无缝部署，并与前缀缓存和持续学习相结合，实现高效模型优化。