trang chủ chủ đề library logo thư viện mã nguồn cửa hàng
thêm
类库 › airllm
lyogavin

lyogavin/airllm

AirLLM是一个优化大语言模型推理内存使用的项目，允许70B参数模型在单张4GB显存的GPU上运行，无需量化、蒸馏或剪枝。它支持在资源受限的环境中高效部署和运行大型模型，目前还能在8GB显存上运行405B参数的Llama3.1。

16,490 1,739 16,490 147
在 GitHub 上查看

标签

chinese-llm chinese-nlp finetune generative-ai instruct-gpt instruction-set llama llm lora open-models open-source open-source-models qlora

技术栈

根目录 python

查看全部依赖 (9)

依赖

accelerate bitsandbytes einops evaluate peft scikit-learn sentencepiece transformers wandb

截图

speed_improvement
"Buy Me A Coffee"

相关项目

langchain-ai
langchain-ai/langchain
LangChain是一个构建基于大型语言模型（LLM）的应用程序的框架，旨在简化AI应用的开发和集成。
114.1k Jupyter Notebook
microsoft
microsoft/generative-ai-for-beginners
这是一个面向初学者的生成式AI课程仓库，包含21节课的Jupyter Notebook教程，涵盖了从基础到应用的完整学习路径，帮助学习者掌握构建生成式AI应用所需的核心知识和技能。
109.5k Jupyter Notebook
rasbt
rasbt/LLMs-from-scratch
该仓库提供从零开始用PyTorch实现ChatGPT类大语言模型的代码教程，涵盖预训练、微调等全过程。配套同名书籍，适合学习LLM内部原理与实现。
91.1k Jupyter Notebook
CompVis
CompVis/stable-diffusion
Stable Diffusion是一个潜在的文本到图像扩散模型，能够根据文本提示生成高质量的图像，适用于计算机视觉任务。
71.4k Jupyter Notebook
facebookresearch
facebookresearch/segment-anything
Segment Anything 是一个用于图像和视频分割的基础模型，提供代码、训练模型下载链接及示例，便于用户快速上手。
51.6k Jupyter Notebook
microsoft
microsoft/AI-For-Beginners
这是一个由微软推出的AI初学者课程，提供12周、24节课的完整学习路径，涵盖人工智能基础知识和实践应用。课程以Jupyter Notebook形式编写，适合自学和教育用途，帮助用户从零开始掌握AI核心概念。
46.1k Jupyter Notebook

评论

trang chủ - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.1. UTC+08:00, 2026-04-23 20:45
浙ICP备14020137号-1 $bản đồ khách truy cập$