类库
› parameter-golf
openai/parameter-golf
这是一个OpenAI组织的参数高尔夫挑战赛项目,参与者需要训练能在16MB内存储且能在8xH100显卡上10分钟内训练完成的最佳语言模型,通过FineWeb验证集上的压缩效果(比特每字节)进行评估。
技术栈
查看全部依赖 (10)
依赖
NumPy
datasets
huggingface-hub
kernels
sentencepiece
setuptools
tiktoken
torch
tqdm
typing-extensions