inicio tema library logo biblioteca biblioteca de código tienda
más
类库 › airllm
lyogavin

lyogavin/airllm

AirLLM是一个优化大语言模型推理内存使用的项目，允许70B参数模型在单张4GB显存的GPU上运行，无需量化、蒸馏或剪枝。它支持在资源受限的环境中高效部署和运行大型模型，目前还能在8GB显存上运行405B参数的Llama3.1。

31,730 3,365 31,730 136
在 GitHub 上查看

标签

chinese-llm chinese-nlp finetune generative-ai instruct-gpt instruction-set llama llm lora open-models open-source open-source-models qlora

技术栈

根目录 python

查看全部依赖 (9)

依赖

accelerate bitsandbytes einops evaluate peft scikit-learn sentencepiece transformers wandb

截图

speed_improvement
"Buy Me A Coffee"
assets/star-history.png
https://github.com/lyogavin/airllm/blob/main/assets/bloome.png?raw=true

相关项目

lamm-mit
lamm-mit/PDF2Audio
PDF2Audio能够将PDF文档转换为音频格式的播客、讲座和摘要，结合了GPT模型进行文本生成和语音合成。
1.3k Jupyter Notebook
thu-vu92
thu-vu92/knowledge-graph-llms
这个仓库是一个知识图谱生成器，利用大语言模型从文本中提取实体和关系，生成互动式可视化图表。
552 Jupyter Notebook
roboflow
roboflow/notebooks
该仓库提供了一系列计算机视觉模型和技术的教程，包括基础架构和前沿模型，旨在帮助用户快速掌握相关知识。
8.3k Jupyter Notebook
google-gemini
google-gemini/gemini-fullstack-langgraph-quickstart
该仓库旨在帮助用户构建一个全栈代理应用，结合React前端和LangGraph后端，实现动态搜索和反思推理，为用户查询提供支持和引用。
16.7k Jupyter Notebook
foreveryh
foreveryh/langgraph-deep-research
langgraph-deep-research是一个全栈应用示例，结合React前端与LangGraph后的代理，用于动态生成搜索词并进行全面查询，优化了工作流程和前端展示。
237 Jupyter Notebook
sam-paech
sam-paech/slop-forensics
Slop Forensics工具包用于生成和分析语言模型输出中的过度表现词汇模式，支持数据集生成、模型重复词分析及构建系统树。
264 Jupyter Notebook

评论

inicio - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-08-29 18:23
浙ICP备14020137号-1 $mapa de visitantes$