DepthBench测试DeepSeek与Frontier Labs的架构深度

概述

对大规模语言模型中更深神经架构的追求日益激烈，主要实验室正竞相克服研究者所称的“深度诅咒”。前沿实验室目前正在重新设计残差流——这是信息在 Transformer 模型中流动的主要路径——以实现更有效的扩展。

领先的努力包括 Kimi K3，它采用了一种名为 AttnRes 的架构，以及 DeepSeek V4，它使用了一种称为 mHC 的方法。此外，ByteDance 也提出了自己的变体 HC，而 LNS、KEEL 和 MoDA 等其他技术也在近期的研究中涌现。尽管有这些创新，但仍存在一个重大比较问题：每种方法都使用了不同的训练预算、模型设计和代码库进行评估。

这种缺乏标准化的情况使得几乎无法确定哪种架构改进真正带来了卓越的性能。为了弥补这一空白，研究者引入了 DepthBench，这是一个统一的评估框架，旨在测试这些相互竞争的方法是否在相同条件下运行。其目标不仅是对模型进行排名，而是确定哪些方法真正将架构深度转化为有效的计算深度。

比较架构创新的挑战

近期替代残差流设计的激增反映了一种更广泛的行业转变。传统的 Transformer 在简单堆叠更多层时已遇到收益递减的问题，促使工程师们重新思考如何在深层网络中保留和传输信息。然而，目前的基准测试格局是碎片化的。

• Moonshot AI 的 Kimi K3 引入了 AttnRes，旨在平衡注意力机制与残差连接，以实现更好的梯度流动。
• DeepSeek V4 利用 mHC（多头拼接）来增强容量，而无需按比例增加计算成本。
• ByteDance 的 HC 提案提供了另一种如何在层之间管理隐藏状态的变体。
• LNS、KEEL 和 MoDA 等补充方法提供了进一步稳定深层网络的实验。

虽然每篇论文都声称取得了重大改进，但由于实验设置差异过大，这些声明的有效性难以验证。训练步数较少但批次较大的模型，可能看起来比训练充分的模型效率更低，即使其底层架构更优越。因此，该领域缺乏这些架构选择的真实排序。

引入 DepthBench

为了解决这种模糊性，开发了 DepthBench 框架以提供受控的、公平的比较。通过保持训练预算、数据管道和评估指标不变，DepthBench 隔离了架构变量。这使研究人员能够观察哪种设计真正提高了学习效率和最终模型性能。

该基准测试侧重于两个关键问题：

1. 哪种方法在每单位计算量下实现最高的性能？
2. 哪种方法最能将结构深度转化为可用且有效的推理能力？

DepthBench 的初步发现表明，并非所有“深度”架构都是一致的。一些方法显示出强劲的初始收益，但很快趋于平缓，而另一些方法则表现出更优越的长期可扩展性。结果表明，在标准化条件下，mHC 和 AttnRes 表现具有竞争力，尽管最佳选择可能取决于特定的硬件约束和下游任务。

对大语言模型未来的影响

DepthBench 的结果对未来模型的构建方式有着重大影响。如果某些架构修改无论训练预算如何都能持续优于其他方法，行业可能会开始统一深层 Transformer 设计的新标准。

“DepthBench 的关键见解是，架构深度必须与计算深度相匹配。如果没有这种对齐，增加层数只会带来微薄的回报，”该研究的研发团队指出。

对于开发人员和研究人员来说，这些发现为投资基础设施和工程人才提供了更清晰的路线图。团队现在可以引用统一的基准测试来指导其架构决策，而不是尝试临时解决方案。这将加速未来几年更高效、更具成本效益的大语言模型的开发。

发表详情

DepthBench 研究的完整技术细节和结果可在 arXiv 上获取。有兴趣复制实验或深入了解方法论的研究人员可以直接查阅该论文。

该研究强调了在快速发展的领域中进行严格基准测试的重要性。随着模型能力竞争的加剧，像 DepthBench 这样的标准化评估将在区分真正的创新与表面改进方面发挥关键作用。