Gemini Robotics ER 2: powering robotics with video understanding, task orchestration, and multi-robot collaboration
2026-08-20 · Google DeepMind
Gemini Robotics ER 2 釋出
模型定位與核心能力
Gemini Robotics ER 2 是 Google 推出的最新具身推理模型,被設計為機器人的高階大腦。它支援實時空間推理、多步驟任務規劃,並能讓機器人與人類自然對話、理解物理世界。
該模型將高層推理與底層執行解耦:自身負責思考和編排任務,隨後把具體運動控制交給任何指定的 Vision-Language-Action (VLA) 模型。同時,Gemini Robotics ER 2 原生支援呼叫外部工具,包括 Google Search 或使用者自定義函式。這使得機器人在執行動作的同時可以持續思考下一步行動。
較 ER 1.6 的重大升級
Gemini Robotics ER 2 較前代 ER 1.6 實現顯著提升。最核心的改進在於持續影片理解能力:機器人可以透過實時影片流跟蹤自身任務進度,在出現問題時主動適應,並在正確時機切換到下一個步驟。
此外,模型首次引入多機器人協作功能,使多個機器人能夠在共享空間中協同工作,完成單個機器人無法獨立完成複雜工作流。
物理智慧體能力提升
現實世界的任務通常複雜且需多步完成。Gemini Robotics ER 2 作為物理智慧體,能夠編排步驟、自我糾錯,並泛化到新場景。開發者可將底層控制介面(如 VLA 模型或導航 API)宣告為工具,向模型流式輸入影片、音訊或文字。
該模型在工具編排工作流上取得明顯進步。在模擬環境、真實機器人控制以及人類遠端操控三種模式下,Gemini Robotics ER 2 的工具編排效能均一致優於 ER 1.6。
低延遲實時推理
機器人高層推理高度依賴執行速度。Gemini Robotics ER 2 深度整合 Gemini Live API,透過最佳化的雙向流式端點大幅降低延遲,實現流暢的任務編排,避免了傳統“停止-思考”帶來的卡頓。
為展示這一能力,Google 與波士頓動力合作,使用 ER 2 編排 Spot 機器人的導航和機械臂 API,構建了一個可透過自然語言指令取物的互動機器人。例如,當使用者發出指令後,Spot 可自主取來爆米花零食。相關演示程式碼已在 GitHub 公開。
時序智慧解鎖:影片理解與任務完成判斷
機器人領域最困難的挑戰之一是準確判斷任務何時真正完成。Gemini Robotics ER 2 在影片理解和進度跟蹤上帶來突破性進展,主要體現在兩個基礎能力上:
1. 連續進度分類
- 將影片幀分為五個進度區間(0-20%、20-40%、40-60%、60-80%、80-100%)
- 幫助機器人獲得實時情境感知
- 支援動態調整動作或重試失敗步驟,而無需重啟整個流程
- 在進度分類任務上達到 57.4% 準確率,優於前代及部分前沿模型
2. 精確時刻發現
- 能夠精確定位影片中關鍵事件發生的準確幀(如咖啡倒滿的瞬間)
- 支援機器人精確切換任務、驗證成功並提出修正建議
- 在時刻發現任務上達到 91.3% 準確率
這些能力共同提升了機器人在真實物理世界中的安全性和實用性。
可用性與開發者支援
Gemini Robotics ER 2 現已向開發者公開發布,可透過以下方式訪問:
- Gemini API
- Google AI Studio
- Gemini Enterprise Agent Platform(私有預覽)
官方同時提供了模型配置示例和提示詞模板,幫助開發者快速構建更具實用價值的物理 AI 應用。