类库 › BitNet
microsoft

microsoft/BitNet

BitNet是一个专门用于1位大语言模型(如BitNet b1.58)的高效推理框架。它提供优化的内核,支持在CPU和GPU上进行快速、无损的推理,显著提升模型运行速度并降低能耗,使得百亿参数模型可在单CPU上流畅运行。

41,453 3,866 41,453 379
在 GitHub 上查看

技术栈

框架

Flask
查看全部依赖 (8)

依赖

blobfile einops fire sentencepiece tiktoken torch transformers xformers

评论

首页 - Wiki
Copyright © 2011-2026 iteam. Current version is 2.156.0. UTC+08:00, 2026-11-21 05:53
浙ICP备14020137号-1