类库
› llama2-webui
liltom-eth/llama2-webui
llama2-webui是一个基于gradio的网页用户界面，允许用户在本地GPU或CPU上运行各种Llama 2模型，适用于生成代理和应用。
技术栈
根目录 python
框架
FastAPI
测试
pytest
查看全部依赖 (19)
依赖
Pydantic
accelerate
^0.21.0
auto-gptq
0.3.0
bitsandbytes
black
gradio
3.37.0
huggingface-hub
llama-cpp-python
0.2.11
memory-profiler
protobuf
3.20.3
pydantic-settings
python-dotenv
1.0.0
scipy
1.11.1
sentencepiece
0.1.99
sse-starlette
torch
2.0.1
tqdm
4.65.0
transformers
4.31.0
uvicorn
