您现在的位置是：首页 > 科技讯息网站首页科技讯息

OpenAI GPT-6 训练规模将创历史新高：预估 10 万张 H100 GPU

近日，有关OpenAI GPT-6训练规模的传闻引起了广泛关注。据科技媒体报道，OpenAI在介绍GPT-4.5模型的视频中，无意间透露了GPT-6训练可能需要的GPU数量，这一数字预估高达10万张H100 GPU，将创历史新高。

在GPT-4.5模型介绍视频的2分26秒处，展示了一段关于GPT-4.5功能的聊天记录，其中出现了“Num GPUs for GPT 6 Training”（GPT-6训练所需的GPU数量）的字样。尽管视频中并未对这一内容作出任何解释，但“Num”可能暗示一个非常庞大的数字，媒体据此推测GPT-6的训练将使用高达10万块GPU。

此前，OpenAI在训练GPT-3时使用了约1万块GPU。随着模型的不断迭代和升级，对计算资源的需求也在不断增加。内部代号为“Orion”的GPT-4.5在自然度和减少“幻觉”方面取得了重大进展，其参数量可能超过3万亿至4万亿，训练成本也相当高昂，据估计约为7.5亿到15亿美元。

H100 GPU作为英伟达的高性能计算产品，在计算性能、内存容量和带宽方面均优于前代A100，适合处理更大的数据集和复杂的计算任务。因此，选择H100 GPU进行GPT-6的训练也在情理之中。

然而，如此庞大的训练规模也带来了不小的挑战。据传，在部署10万个H100 GPU进行GPT-6训练时，甚至导致了电网的崩溃。这进一步证明了GPT-6训练规模的巨大和对计算资源的极高要求。