类库
› BitNet
microsoft/BitNet
BitNet是一个专门用于1位大语言模型（如BitNet b1.58）的高效推理框架。它提供优化的内核，支持在CPU和GPU上进行快速、无损的推理，显著提升模型运行速度并降低能耗，使得百亿参数模型可在单CPU上流畅运行。
技术栈
框架
Flask
查看全部依赖 (8)
依赖
blobfile
einops
fire
sentencepiece
tiktoken
torch
transformers
xformers
