类库
› orthrus
chiennv2000/orthrus
Orthrus是一个基于Python的LLM推理框架,采用双视图扩散解码技术。它在保证自回归模型严格无损生成的同时,显著提升并行Token生成速度(最高5.36倍)。适用于需要高效、高保真文本生成的场景,支持Qwen3系列模型。
标签
截图
Orthrus是一个基于Python的LLM推理框架,采用双视图扩散解码技术。它在保证自回归模型严格无损生成的同时,显著提升并行Token生成速度(最高5.36倍)。适用于需要高效、高保真文本生成的场景,支持Qwen3系列模型。