Accueil Sujet library logo Bibliothèque Mon profil
Plus

大模型时代的异构计算平台

摘要

GPT-3 有 1750 亿参数，文心大模型有 2600 亿参数。以使用 NVIDIA GPU A100 对 GPT-3 进行训练为例，理论上单卡需要耗费 32 年的时间，千卡规模的分布式集群，经过各种优化，仍然需要 34 天才能完成训练。

阅读原文
xiaozi 于 2023-02-23 分享
2365 海报分享
关联话题： #百度

欢迎在评论区写下你对这篇文章的看法。

评论

Accueil - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-15 12:56
浙ICP备14020137号-1 $Carte des visiteurs$