Gemini Robotics ER 2: powering robotics with video understanding, task orchestration, and multi-robot collaboration
2026-08-20 · Google DeepMind
Gemini Robotics ER 2 发布
模型定位与核心能力
Gemini Robotics ER 2 是 Google 推出的最新具身推理模型,被设计为机器人的高级大脑。它支持实时空间推理、多步骤任务规划,并能让机器人与人类自然对话、理解物理世界。
该模型将高层推理与底层执行解耦:自身负责思考和编排任务,随后把具体运动控制交给任何指定的 Vision-Language-Action (VLA) 模型。同时,Gemini Robotics ER 2 原生支持调用外部工具,包括 Google Search 或用户自定义函数。这使得机器人在执行动作的同时可以持续思考下一步行动。
较 ER 1.6 的重大升级
Gemini Robotics ER 2 较前代 ER 1.6 实现显著提升。最核心的改进在于持续视频理解能力:机器人可以通过实时视频流跟踪自身任务进度,在出现问题时主动适应,并在正确时机切换到下一个步骤。
此外,模型首次引入多机器人协作功能,使多个机器人能够在共享空间中协同工作,完成单个机器人无法独立完成复杂工作流。
物理智能体能力提升
现实世界的任务通常复杂且需多步完成。Gemini Robotics ER 2 作为物理智能体,能够编排步骤、自我纠错,并泛化到新场景。开发者可将底层控制接口(如 VLA 模型或导航 API)声明为工具,向模型流式输入视频、音频或文本。
该模型在工具编排工作流上取得明显进步。在仿真环境、真实机器人控制以及人类远程操控三种模式下,Gemini Robotics ER 2 的工具编排性能均一致优于 ER 1.6。
低延迟实时推理
机器人高层推理高度依赖执行速度。Gemini Robotics ER 2 深度集成 Gemini Live API,通过优化的双向流式端点大幅降低延迟,实现流畅的任务编排,避免了传统“停止-思考”带来的卡顿。
为展示这一能力,Google 与波士顿动力合作,使用 ER 2 编排 Spot 机器人的导航和机械臂 API,构建了一个可通过自然语言指令取物的交互机器人。例如,当用户发出指令后,Spot 可自主取来爆米花零食。相关演示代码已在 GitHub 公开。
时序智能解锁:视频理解与任务完成判断
机器人领域最困难的挑战之一是准确判断任务何时真正完成。Gemini Robotics ER 2 在视频理解和进度跟踪上带来突破性进展,主要体现在两个基础能力上:
1. 连续进度分类
- 将视频帧分为五个进度区间(0-20%、20-40%、40-60%、60-80%、80-100%)
- 帮助机器人获得实时情境感知
- 支持动态调整动作或重试失败步骤,而无需重启整个流程
- 在进度分类任务上达到 57.4% 准确率,优于前代及部分前沿模型
2. 精确时刻发现
- 能够精确定位视频中关键事件发生的准确帧(如咖啡倒满的瞬间)
- 支持机器人精确切换任务、验证成功并提出修正建议
- 在时刻发现任务上达到 91.3% 准确率
这些能力共同提升了机器人在真实物理世界中的安全性和实用性。
可用性与开发者支持
Gemini Robotics ER 2 现已向开发者公开发布,可通过以下方式访问:
- Gemini API
- Google AI Studio
- Gemini Enterprise Agent Platform(私有预览)
官方同时提供了模型配置示例和提示词模板,帮助开发者快速构建更具实用价值的物理 AI 应用。