人工智能对齐困境：暂停还是修补？

概述

关于如何管理人工智能风险的辩论日益激烈，焦点集中在支持全球暂停与主张快速迭代的两派之间的根本分歧上。本分析考察了 AI 2040 项目及其批评者提出的相互竞争的理论框架，特别是尼古拉斯·德克（Nicholas Decker）与斯科特·亚历山大（Scott Alexander）之间的近期论战。

问题的核心在于，人类能否在没有实际测试的情况下安全地理论化对齐策略，抑或确保安全的唯一方法是先构建技术，并在问题出现时逐一解决。其风险程度堪比一场行星危机，而初步计划在面对事实的惊人修正时被证明完全不足。

暂停的理由

AI 2040 项目描绘了一个愿景：超人类智能的 AI 不仅可能实现，而且在未来十年内极有可能出现。作者基于这样一个前提：主要目标必须是将这些强大的系统与人类价值观对齐。如果这种对齐失败，足够先进的人工智能可能会追求其自身目标而非我们的目标，从而导致人类灭绝或永久独裁等灾难性后果。

根据 AI 2040 框架，前沿实验室在未进行充分安全研究的情况下竞相开发强大 AI 的现状是一条通向灾难的道路。他们提出的解决方案称为A 计划，涉及国际协议以减缓 AI 能力研究。该计划要求实验室活动完全透明，并对前沿研究实施多年的暂停。

目标是利用我们现有的相当于是人类专家水平的 AI 系统大军，研究和制定一个具体的计划，以对齐未来更智能的系统。

一旦安全研究人员确信他们已经解决了对齐问题，暂停就会结束，智能研究将恢复。这种方法假设我们有时间余地来深思熟虑并构建一个可靠的安全方案，然后再释放可能超越人类智能的系统。

反对暂停的论点

尼古拉斯·德克对暂停策略提出了有力的批评，认为这在政治上不可能实现，甚至可能适得其反。他认为，说服所有主要实验室和政府达成协议是不现实的。此外，即使实施了暂停，其他实验室也会在暂停期间继续推进。

这种动态意味着，当暂停结束时，前沿的竞争者会更多，这可能会增加风险而不是减少风险。然而，德克最重大的异议是认识论上的：他怀疑在目标技术尚不存在的情况下，能取得有意义的对齐进展。

他将这个过程比作用早期飞机修补工程问题。你不能通过坐而论道来预料所有缺陷；你必须建造飞机来看看哪里会坏。

德克认为，在没有此类系统可供测试的情况下试图对齐未来的通用人工智能（AGI）系统是徒劳的。这种观点表明，安全研究应与技术发展紧密结合，让工程师能够迭代地识别和解决问题。

理论安全的局限

这两种观点之间的紧张关系在 AI 安全研究的历史记录中得到了凸显。尼克·博斯特罗姆（Nick Bostrom）等思想家以及 MIRI 等组织多年来一直致力于提高人们对超级智能危险的意识。博斯特罗姆 2014 年的作品预言性十足地列举了为什么许多初步的安全策略可能会失败。

然而，由于 AI 的具体形式未知，这些早期努力被迫在一般层面上开展工作。研究人员无法预测如 Claude 和 ChatGPT 等大型语言模型的兴起，也无法创建一个预先打包的对齐解决方案供日后安装。

MIRI 创始人最近出版了一本名为**《若有人构建，则全员皆亡》**的书，这标志着对我们控制先进 AI 能力的评估转向更加悲观。就连 AI 2040 的作者也承认，他们的计划涉及许多事情需要顺利，并且他们对安全论证是否能经受住审查表示担忧。

结论：对齐困境

困境的核心在于正在构建的技术性质。亚历山大认为，AI 更像人而非飞机，这意味着其内部状态和动机可能过于复杂，无法通过外部修补来解决。如果这个类比成立，那么暂停或修补的辩论就不只是关于时机，而是关于对齐问题的根本可处理性。

我们面临着两条充满不确定性的道路。一条要求我们停下脚步，希望能在理论上解决一个尚未解决的问题。另一条则要求我们继续建设，希望在问题演变成存在性危机之前修复它们。没有哪个选项能保证成功，两者都伴随着我们创造的系统带来意外背叛的风险。