DeepSeek-V4-Flash 流水线并行在双 Mac 上遭遇速度瓶颈

概述

在双 Mac 设备上运行的 DeepSeek-V4-Flash 的最新基准测试揭示了重大的性能异常，这挑战了关于在分布式消费级硬件上扩展推理工作负载的假设。该模型使用 流水线并行（pipeline parallelism） 进行分区，将层均匀分配给两台 Apple Silicon 机器，以利用联合计算能力。

理论预期表明，这种配置的性能应与单台 Mac 几乎相同，仅会因网络通信开销产生轻微的延迟惩罚。相反，分布式设置导致了大幅度的吞吐量下降，引发了人们对当前并行化策略在该特定模型架构和本地硬件上有效性的质疑。

一台 Mac：每 token 18.8 毫秒。两台 Mac：27.5 毫秒。

这一性能差距表明，简单地增加更多的计算节点并不能保证线性扩展，尤其是考虑到模型的通信模式和内存访问特性时。研究结果suggest（暗示）流水线并行虽然在理论上适合大规模数据中心部署，但在异构或网络带宽较低的环境中面临着独特的瓶颈。

性能差异

核心问题在于预期延迟与实际观察到的延迟之间的巨大反差。当在单台机器上运行 DeepSeek-V4-Flash 时，推理速度平均每 token 为 18.8 毫秒。然而，当工作负载使用流水线并行分配到两台 Mac 上时，延迟跃升至每 token 27.5 毫秒。这代表每 token 的处理时间增加了约 46%，实际上将人们期望从翻倍硬件资源中获得吞吐量增益减半。

几个因素理论上可能导致这种减速，包括 CPU 开销、内存带宽争用，或模型层跨设备调度方式的低效。然而，初步分析表明，设备间的通信模式是主要元凶，而非原始带宽限制。

该实验还探索了 张量并行（tensor parallelism） 作为一种替代方案，但由于流水线并行的初始结果 significance（显著性），在就其他并行化策略得出最终结论之前，值得对网络层进行详细检查。

网络开销分析

此次调查的一个关键组成部分是隔离两台机器之间数据转移的成本。两台 Mac 通过 Thunderbolt 5 连接，该接口支持高速线缆上的 RDMA（远程直接内存访问）。这项技术旨在允许一台计算机直接访问另一台的内存，同时将 CPU 干预降至最低，理论上可将通信开销降低到接近零的水平。

测量结果表明，在 Mac 之间移动数据的实际成本约为 每 token 0.04 毫秒。鉴于总 token 生成时间增加了 8.7 毫秒（从 18.8 毫秒增加到 27.5 毫秒），原始带宽和 RDMA 效率不能被视为主要瓶颈。如果网络延迟是唯一的問題（issue），性能损失将微不足道。

这一发现排除了线缆本身作为问题所在，并将焦点转向更微妙的同步问题，例如落后者效应（straggler effects）、负载不均衡，或由并行化框架本身引入的开销。较低的通信成本表明基础设施有能力支持更快的分布式推理，但软件堆栈并未高效利用它。

合成基准测试见解

为了进一步诊断减速的根源，进行了一项合成测试，模仿了 DeepSeek-V4-Flash 流水线并行中使用的交接模式。该测试将通信和同步开销与实际模型计算隔离开来，从而更清晰地理解分布式执行模型引入的开销。

合成基准测试揭示了高度可变的影响，具体取决于工作负载突发的性质：

• 短 GPU 突发：这些任务涉及短暂的计算期，随后立即进行同步或数据传输。在双 Mac 设置下，完成这些任务的时间比单台机器 长 +97%。延迟近乎翻倍表明，管理流水线阶段（包括激活前传和梯度同步（如适用））的开销与实际计算时间相比非常显著。
• 长 GPU 突发：相比之下，具有长时间连续 GPU 计算的任务仅看到持续时间 增加 +5%。这表明随着计算与通信比例的增加，分布式框架的相对开销会减少，允许系统更有效地扩展。

这些结果突显了一个关键见解：当计算粒度较细时，流水线并行最容易受到开销影响。对于像 DeepSeek-V4-Flash 这样的大语言模型，单个层的计算相对于跨阶段同步激活的成本可能相对较短，因此开销可能会主导执行时间。

对本地 AI 部署的影响

这些发现对于希望在多台消费级机器上部署大语言模型的开发人员和爱好者具有重要意义。虽然将多台 Mac 聚合为单个强大推理集群的梦想很吸引人，但这项实验表明，盲目应用流水线并行可能导致比使用单台机器更差的性能。

为了获得最佳结果，可能需要进行以下调整：

1. 增加批次大小：处理更大的批次可以帮助分摊跨更多 token 的固定通信和同步开销。
2. 优化层分组：调整模型在设备间的分割方式，以确保每个阶段的计算负载更加平衡，可以减少落后者效应。
3. 探索混合并行：将流水线并行与张量并行或序列并行相结合，可能更有效地分配通信负载。
4. 使用更健壮的网络：虽然带有 RDMA 的 Thunderbolt 5 速度很快，但专用的以太网或 InfiniBand 连接可能会为更大的批次提供较低的延迟和更高的带宽。

每 token 0.04 毫秒的网络成本证明硬件具备高速数据传输能力。挑战在于软件框架调度分布式计算并同步的能力，同时不引入显著的延迟惩罚。

结论

在双 Mac 上对 DeepSeek-V4-Flash 进行的流水线并行测试为消费者硬件上的分布式推理提供了一个警示故事。尽管拥有通过 Thunderbolt 5 支持 RDMA 的健壮网络基础设施，但与单台机器相比，系统仍经历了 46% 的 slowdown（减速）。

合成基准测试证实，问题不在于带宽，而在于以流水线方式处理短突发计算任务所相关的开销。随着计算与通信比例的增加，性能差距缩小，这表明对于计算时间占总执行时间较小部分的大型模型或更大批次大小，流水线并行可能是可行的。

目前，除非对并行化策略进行重大优化，否则在单台 Mac 上运行 DeepSeek-V4-Flash 仍是更高效的选择。未来推理框架的迭代需要解决这些同步成本，以释放多机本地 AI 部署的全部潜力。