类库
› RedKnot
rednote-machine-learning/RedKnot
RedKnot是基于SGLang的长上下文LLM推理加速工具。通过头分类KV复用、弹性稀疏FFN和SegPagedAttention，在保持近无损精度的同时，将长上下文预填充FLOPs降低50%-70%，TTFT提速1.35-2.2倍，支持Qwen、Llama等主流模型。
技术栈
experimental/sgl-router rust
查看全部依赖 (5)
依赖
dynamo-parsers
dynamo-protocols
dynamo-tokenizers
开发依赖
dirs
5
http-body-util
0.1
