Home Topic library logo Library Code Library Shop
More
类库 › train-llm-from-scratch
FareedKhan-dev

FareedKhan-dev/train-llm-from-scratch

该项目基于PyTorch从零实现Transformer模型，提供从数据下载到文本生成的完整LLM训练流程。用户可利用单GPU训练百万或十亿级参数的大语言模型，适合深度学习研究与教育实践。

6,015 819 6,015 14
在 GitHub 上查看
FareedKhan-dev/train-llm-from-scratch

标签

gemini large-language-models llm openai training transformers

技术栈

根目录 python

网络

Requests
查看全部依赖 (8)

依赖

NumPy h5py tiktoken torch torchaudio torchvision tqdm zstandard

截图

Post-training pipeline: Base to SFT to RM/DPO to PPO/GRPO

相关项目

jd-opensource
jd-opensource/OxyGent
OxyGent是一个开源的多智能体协作框架，使开发者能够快速构建、部署和演化多智能体系统，支持灵活的工具和模型集成。
835 Python
sentient-agi
sentient-agi/OpenDeepSearch
OpenDeepSearch是一个开源搜索平台，结合推理模型和推理代理，旨在实现搜索功能的民主化，帮助用户更智能地访问信息。
3.6k Python
metehan777
metehan777/google-ai-mode-optimization-tool
这个仓库是一个分析WordPress网站的工具，使用查询分解和多跳推理策略来优化Google AI模式，提供可视化内容网络和优化建议。
13 Python
tjmlabs
tjmlabs/ColiVara
ColiVara是一个文档存储和检索服务，基于视觉嵌入技术实现先进的文本和视觉文档检索，无需OCR或文本提取。
1.3k Python
TracecatHQ
TracecatHQ/tracecat
Tracecat是一个全功能的自动化平台，旨在为安全和IT团队提供工作流、表格和案例管理，是开源的Splunk SOAR和ServiceNow SecOps替代方案。
3.2k Python
NanoNets
NanoNets/docstrange
DocStrange用于智能提取和转换各种文档（如PDF、Word、图片等）中的数据，并支持多种格式（Markdown、JSON等），方便用户处理和利用文档信息。
521 Python

评论

Home - Wiki
Copyright © 2011-2026 iteam. Current version is 2.155.2. UTC+08:00, 2026-06-14 06:46
浙ICP备14020137号-1 $Map of visitor$