Accueil Sujet library logo Bibliothèque Astuce Magasin
Plus
类库 › distributed-llama
b4rtaz

b4rtaz/distributed-llama

Distributed Llama是一个分布式大语言模型推理框架，可将多台家庭设备连接成集群，通过张量并行和以太网高速同步技术加速LLM推理。支持多种模型，包括Llama和Qwen系列，并提供CPU、GPU及Vulkan后端支持。

2,882 218 2,882 45
在 GitHub 上查看

标签

distributed-computing distributed-llm llama2 llama3 llm llm-inference llms neural-network open-llm

技术栈

查看全部依赖 (5)

依赖

NumPy safetensors sentencepiece torch transformers

相关项目

tensorflow
tensorflow/tensorflow
TensorFlow是一个开源的机器学习框架，提供工具、库和社区资源，帮助研究人员和开发者构建和部署机器学习应用。
191.3k C++
godotengine
godotengine/godot
Godot是一个跨平台的2D和3D游戏引擎，提供丰富的工具，帮助用户便捷地创建和导出游戏。
100.5k C++
ggml-org
ggml-org/llama.cpp
llama.cpp是一个用于C/C++语言的LLM推理库，提供多种API接口，适合开发者进行语言模型推理和应用集成。
85.4k C++
nomic-ai
nomic-ai/gpt4all
GPT4All是一款开源软件，可以在任何设备上本地运行大型语言模型，用户无需API调用或GPU，方便快速启动和使用。
77k C++
tesseract-ocr
tesseract-ocr/tesseract
Tesseract是一个开源的OCR引擎，支持文本识别和处理，提供命令行工具，适用于多种文档及图像格式。
69k C++
protocolbuffers
protocolbuffers/protobuf
Protocol Buffers是Google开发的跨语言、跨平台的结构化数据序列化机制，主要用于数据交换。
68.9k C++

评论

Accueil - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-02 19:55
浙ICP备14020137号-1 $Carte des visiteurs$