类库
› PyroDash
Pyromind-Dynamics/PyroDash
PyroDash是一种令牌级动态推理范式，实现大小语言模型间的协同推理。小模型通过发出控制信号将推理任务动态卸载给大模型，无需额外路由模型或重新训练大模型，兼容闭源服务，旨在提升推理效率与灵活性。
技术栈
根目录 python
网络
Requests
查看全部依赖 (15)
依赖
Pandas
accelerate
datasets
httpx
huggingface-hub
math-verify
mathruler
openai
pylatexenc
torch
torchaudio
torchvision
tqdm
transformers
vllm
