类库 › smolmaxxing
hyperionaidev

hyperionaidev/smolmaxxing

smolmaxxing旨在利用自定义内核、内存优化和权重流式传输技术,在资源受限的极小设备上运行尽可能大的LLM。项目实测了电视盒子、旧平板和手机等设备的推理性能,帮助用户挖掘闲置硬件潜力,实现本地大模型部署。

hyperionaidev/smolmaxxing

截图

screenshots/llmui_05_stream.png

评论

Главная - Вики-сайт
Copyright © 2011-2026 iteam. Current version is 2.156.0. UTC+08:00, 2026-11-17 04:21
浙ICP备14020137号-1