DeepSeek 借助工具使用实现无视觉机器人控制

概述

机器人控制领域的一项新发展正在挑战长期以来的假设，即人工智能模型需要复杂的视觉系统才能操纵物理对象。研究人员证明，强大的语言模型 DeepSeek 可以在不处理任何像素视觉数据的情况下有效控制机器人。这一反直觉的发现源于在 SEAR 基准测试中的严格测试，该模型不仅与 Gemini 等领先的视觉嵌入式系统并驾齐驱，还在最复杂的任务族中超越了它们。

这一突破表明，对于某些机器人应用而言，该领域对多模态视觉的大量投入可能被高估了。相反，关键组件似乎是 智能体推理 以及智能利用外部工具的能力。通过将决策与直接感官输入解耦，这种方法为实现更稳健、可扩展的机器人自主性提供了一条简化路径。

工具使用架构

这一成就的核心在于 DeepSeek 如何通过专用软件接口而非原始摄像头画面与环境交互。该模型并非以传统意义上的方式“看”世界；相反，它查询其他算法以检索可供其操作的结构性信息。

当被指示移动物体时，DeepSeek 首先调用 SAM3（一种分割模型）以生成精确的掩码，标识出指定的目标。此掩码确定了问题对象的确切空间边界。然而，2D 图像掩码不足以进行物理操作，因此系统随后将掩码与 深度图像 结合处理，以计算准确的 3D 坐标。

这种两步过程将视觉数据转化为可操作的几何指令，而无需语言模型本身执行计算机视觉任务。该架构依赖于明确的分工：语言模型负责规划和逻辑，而专用工具负责感知和坐标变换。

基准测试表现与能力

为了验证这一方法，研究人员让 DeepSeek 接受了 SEAR 基准测试，这是一套标准化的测试套件，旨在在真实的机器人场景中测试具身 AI 智能体。结果令人瞩目，特别是与 Gemini 进行比较时，后者以其强大的多模态能力而闻名。

• 竞争性持平： 在大多数标准机器人任务中，DeepSeek 保持了与 Gemini 相当的性能水平。
• 优越的复杂处理能力： 在基准测试中最困难的任务族中，DeepSeek 超越了 Gemini，这表明其工具使用 methodology 在复杂条件下具有更好的扩展性。
• 零像素输入： 尽管缺乏视觉输入，该模型成功执行了细微的操作命令，证明视觉感知并非功能性机器人控制的先决条件。

这些发现表明，虽然视觉模型功能强大，但并非机器人堆栈每一层的最佳解决方案。在困难场景中，语言模型对工具输出进行推理的能力比原始视觉处理更具优势。

对智能体推理的意义

这项研究强调了人工智能开发视角的转变。业界 largely 在一种信念下运作，即增加更多的感官模态（特别是视觉）会与更好的性能直接相关。然而，这项研究凸显了 智能体推理——规划、序列动作和利用工具的能力——往往是成功的关键因素。

“虽然视觉有助于错误评估，但智能体推理和工具使用才是最重要的。”

在这种背景下，视觉的作用被重新定义。它并未被完全摒弃，而是被降格为辅助功能。视觉数据可以协助错误评估和微调，但成功完成任务的主要驱动力是模型与世界的交互逻辑框架。通过抽象掉语言模型解释像素的需求，系统变得更加模块化，且可能更可靠。

机器人的未来方向

无需视觉即可控制机器人的能力为未来应用带来了几个引人注目的优势。首先，它减少了计算开销，因为感知的繁重工作被卸载到 SAM3 等专用、高效的模型上。其次，它增强了模块化；通过简单更改其查询的工具集，单个语言模型有可能控制各种机器人平台。

这种架构也为视觉数据不可靠或不可用的场景打开了大门。在低光环境、视野受阻或存在大量视觉噪声的设置中，依赖视觉的系统可能会失败，而使用工具的语言模型仍可通过依赖深度传感器或其他非视觉数据源而成功。

随着研究的进展，感知与行动之间的界限继续变得模糊。DeepSeek 在该领域的成功表明，下一波机器人智能将优先考虑智能推理和工具集成，而非蛮力感官处理。这种范式转变可能会加速自主机器人在多样化、非结构化环境中的部署。