在本地运行开源AI可能比使用API更昂贵

概述

在 API 费用可能失控的当今时代，自建大型语言模型颇具吸引力。许多组织认为，在自己的硬件上运行像 DeepSeek 这样的开源模型，与订阅商业终端相比，能带来显著的成本节约。这个逻辑似乎很简单：你只需一次性支付硬件费用，之后的推理成本几乎为零。

然而，最近一项使用高端硬件进行的实验对这一假设提出了挑战。研究人员在四块 NVIDIA H200 GPU 上本地运行 DeepSeek，发现每月的总成本远超通过 API 使用 Claude 的费用。结果表明，本地 AI 的经济性比简单的硬件折旧更为复杂。

为了测试实际部署中推理的真实成本，该研究使用了四块 NVIDIA H200 GPU。这些是目前可用的最强大的消费级和数据中心加速器之一，专为高吞吐量 AI 工作负载而设计。团队在这套基础设施上运行了领先的开放权重模型 DeepSeek，并进行了一段长时间的测试，以收集准确的月度运营数据。

财务对比揭示了令人震惊的差异。通过 API 访问 Claude 的每月成本约为 5,500 美元。相比之下，在专用的 H200 集群上运行相同计算工作负载的每月成本飙升至约 13,200 美元。

“你可能认为自建会更便宜，但账单金额超过了 API 成本的两倍。”

这一结果凸显了 IT 采购中的一个常见陷阱。虽然乍看之下 API 订阅费用昂贵，但它包含了电力、冷却、维护和软件更新等服务。本地部署虽然提供数据主权，且在大规模应用时边际成本可能更低，但对于这种特定用例而言，它承担着沉重的固定 overhead，远远超过云端选项。

导致成本超支的主要原因是，模型定价只是总拥有成本（TCO）的一个组成部分。当组织计算自建成本时，他们往往只关注 GPU 的购买价格或云实例费用。他们经常忽视随时间累积的 ancillary 成本。

几个隐藏因素导致了本地部署价格的膨胀：

能源消耗： 高性能 GPU 耗电量巨大。全天候运行四块 H200 需要大量电力，根据当地公用事业费率，费用会迅速累积。
冷却与基础设施： 数据中心和服务器机房需要强大的冷却系统。如果组织未使用专业建造的设施，维持稳定热环境成本的往往被低估。
停机与维护： 硬件故障时有发生。当 GPU 损坏或驱动程序更新破坏兼容性时，系统将处于空闲状态。在停机期间，组织仍需为硬件付费，却无法获得任何计算产出。
运营人力： 管理本地 AI 集群需要专业知识。运维工程师和机器学习操作员必须获得报酬，以便监控性能、管理更新和排除故障。

当这些变量被纳入考量时，“拥有”模型所带来的初始节省便消失了。相比之下，API 模式将这些运营负担转移给了服务提供商，他们可以将这些成本分摊给成千上万的用户。

本次成本分析中的另一个关键因素是 利用率。云 API 提供商以巨大规模运营，优化其基础设施，以确保数百万并发用户的高利用率。当你本地运行模型时，你需要确保硬件被高效利用。

如果本地服务器利用不足——意味着 GPU 在处理请求等待期间处于空闲状态，或者通电但未处理工作负载——每次推理的成本就会急剧上升。研究表明，即使拥有专用硬件，每令牌的有效成本仍高于主要 API 提供商提供的捆绑费率。

这并不是说本地部署永远不可行。对于拥有以下条件的企业来说：

自建可能仍然是正确的战略选择。然而，对于通用应用程序而言，支持本地托管的经济论据正在减弱。

这项实验的发现为急于降低 AI 账单的开发人员和 CTO 们提供了一个警示性的故事。采取整体的成本视角而非仅仅关注模型或 GPU 的标价至关重要。

组织在承诺部署本地 AI 基础设施之前，应进行全面深入的天际成本分析。该分析必须包括：

随着开源模型性能与云 API 便利性之间的差距不断缩小，自建的提议价值可能会发生变化。目前，数据显示，对于许多工作负载而言，付费使用服务比自建和管理机器更具经济效益。

认为在本地运行开源 AI 必然更便宜是一个误解，可能导致预算超支。这项对比 DeepSeek（在 H200 上）与通过 API 使用 Claude 的实验表明，当计入所有运营费用时，本地成本可能是云端替代方案的 two times 以上。

虽然本地部署在控制和隐私方面具有优势，但财务现实是，由于规模经济和高效资源管理，专业的云提供商通常能够以更低的成本提供推理服务。在购买 GPU 之前，利益相关者应仔细评估与自建相关的隐藏成本的全貌。