国盛证券：大模型训练一次200-1200万美元
文库划重点：GPT-3训练一次的成本约为140万美元，对于一些更大的LLM（大型语言模型），训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算，其对应芯片需求为3万多片英伟达A100 GPU，初始投入成本约为8亿美元，每日电费在5万美元左右。
2月19日消息，ChatGPT风靡全球后，科技巨头们纷纷入局，生成式AI其背后以大模型为基础的人工智能成为业界投入的方向。
IT之家了解到，所谓“大模型”，通常是在无标注的大数据集上，采用自监督学习的方法进行训练。之后在其他场景的应用中，开发者只需要对模型进行微调，或采用少量数据进行二次训练，就可以满足新应用场景的需要。
然而，训练通用大模型非常“烧钱”。据国盛证券报告《ChatGPT需要多少算力》估算，GPT-3训练一次的成本约为140万美元，对于一些更大的LLM（大型语言模型），训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算，其对应芯片需求为3万多片英伟达A100 GPU，初始投入成本约为8亿美元，每日电费在5万美元左右。
如果将当前的ChatGPT部署到谷歌进行的每次搜索中，需要512820.51台A100 HGX服务器和总共4102568个A100 GPU，这些服务器和网络的总成本仅资本支出就超过1000亿美元。
国盛证券认为，在公有云上，对于以谷歌等全球科技大企业而言，百万至千万美元级别的训练成本并不便宜，但尚在可接受范围内、并非昂贵。
（文章原标题：《ChatGPT有多烧钱？大模型训练一次200-1200万美元》，插图未收录）
收录于哈希力量，手机站省略本文固定网址
