百模大战引爆“千卡集群竞赛”,“中国英伟达”交卷了
2024-05-01大模子激勉AI算力荒,新一代千卡集群喂饱国产新苗子。 作家 | 三北 裁剪 | 漠影 大模子正激勉一波新的AI算力荒,从此前的芯片紧缺,高潮为AI算力集群级的饥渴症。 凭证产业链音信,参数可能仅30亿的Sora用4200-10500块H100测验了1个月;最新出炉的Llama 3 8B和70B的测验需要24000多块H100构成的集群;据称有1.8万亿参数的GPT-4是在10000-25000张A100上完成了测验…… OpenAI、Meta等齐在用数千卡、甚而万卡串联,满足不断攀升的大模子测验