类库 › FreeToken
FlashML-org

FlashML-org/FreeToken

FreeToken是一款面向边缘设备的MoE推理引擎,旨在让个人电脑高效运行290B+大型模型。它利用CPU-GPU协同执行、语义感知缓存和弹性内存管理,将异构硬件整合为统一推理平台,实现本地快速、高效的模型服务。

17,161 1,701 17,161 471
在 GitHub 上查看
FlashML-org/FreeToken

截图

https://raw.githubusercontent.com/FlashML-org/FreeToken/main/assets/desktop-console.png

评论

Главная - Вики-сайт
Copyright © 2011-2026 iteam. Current version is 2.156.0. UTC+08:00, 2026-11-17 04:24
浙ICP备14020137号-1