NVIDIA Cosmos-H-Dreams: Bringing Real-Time Generative Simulation to Surgical Robotics
2026-08-20 · Hugging Face
NVIDIA Cosmos-H-Dreams:將實時生成式模擬引入外科機器人
外科機器人正迅速從遠端操作轉向功能更強大的視覺-語言-動作策略。然而,對這些系統的評估和訓練仍面臨重大困難。物理機器人平臺操作成本高昂,實驗難以快速復現,失敗可能損壞器械或生物材料。雖然傳統模擬器提供更安全的替代方案,但外科場景極難精確建模:可變形組織、精細器械互動、鏡面表面、縫線、針、煙霧和遮擋等因素都至關重要。
世界基礎模型提供了不同路徑。它不需手動為每個物體和物理互動建模,而是直接從同步影片與機器人運動學資料中學習視覺動態。NVIDIA 先前釋出的 Cosmos-H-Surgical-Simulator 展示了這一方法,能夠根據初始場景和機器人動作序列生成未來的外科影片。這使得在 Open-H-Embodiment 生態系統中可實現快於真實物理速度的評估和合成資料生成。
從外科世界模型到互動式模擬器
Cosmos-H-Surgical-Simulator 是基於 NVIDIA Cosmos-Predict2.5-2B 構建的動作條件化世界基礎模型,並在 Open-H-Embodiment 資料集上進行了後訓練。給定一張外科上下文影象和未來的機器人軌跡,它能生成展示這些動作可能視覺結果的影片。這使其特別適用於離線策略評估和合成資料生成:研究者可將記錄或策略生成的軌跡輸入模型,生成對應的 rollout 影片,隨後進行檢查或評分,而無需在物理機器人上反覆執行動作。
Cosmos-H-Dreams 將這一能力推進到實時領域。它從 Cosmos-H-Surgical-Simulator 學習到的多 embodiment 外科先驗出發,針對 da Vinci Research Kit (dVRK) 桌面縫合任務進行專門化,並蒸餾為一個因果學生模型,實現場景的自迴歸生成。釋出的模型接收初始 RGB 幀和機器人運動學的實時資料流,生成下一段幀序列,隨後繼續處理後續動作塊。
研究團隊還與 CMR Surgical 和 Cambridge Consultants 合作,將 Cosmos-H-Dreams 整合到 Versius 外科控制器中,成功實現了 Versius 平臺上的實時操作,展示了系統的 versatility。
為實時效能提煉 Cosmos-H-Surgical-Simulator
核心挑戰是在大幅降低生成成本的同時,保留有用的外科動態。Cosmos-H-Dreams 採用專門為長自迴歸 rollout 設計的教師-學生訓練流程。
2.1 外科教師模型
雙向教師模型起始於 Cosmos-H-Surgical-Simulator 的 Open-H 檢查點,該檢查點採用統一的 44 維動作表示。對於釋出的 dVRK 桌面模型,雙臂 dVRK 的相對末端執行器平移、旋轉和夾持器狀態被對映到這一通用表示中。
教師模型隨後在 JHU dVRK 桌面混合資料集上進行微調。該資料集不僅包含成功演示,還包括失敗和分佈外樣本,例如掉針、投擲失敗和不成功的打結。這些失敗案例至關重要,因為用於策略評估的模擬器必須能夠重現不良動作的後果,而非僅展示理想情況。
為提升長 rollout 的穩定性,訓練過程逐步增加教師的時間範圍:從 12 幀開始,逐步提升至 72 幀。每次範圍提升時,都使用此前熱身完成的模型權重進行初始化。
2.2 因果熱身
教師的去噪軌跡首先被預先計算並快取。隨後從教師初始化一個因果學生模型,並訓練其模仿這些快取軌跡。這一熱身階段使學生學會使用因果注意力和流式鍵/值快取,再開始從自身生成的歷史中學習。
2.3 自強制提煉
自迴歸模型普遍面臨訓練-部署不匹配問題:訓練時使用乾淨的真實上下文,而部署時必須依賴自身生成的可能有誤差的輸出,小誤差會隨時間累積。
Cosmos-H-Dreams 透過自強制提煉解決這一問題。在訓練過程中,學生使用自身生成的上下文進行前向滾動,凍結的教師則提供分佈匹配監督,將這些自生成 rollout 引導至真實的外科影片分佈。這讓學生為互動式推理時將遇到的真實條件做好準備。
最終得到的模型支援少步擴散,每個潛在幀僅需 2 個去噪步,而非教師所需的多步過程。它兼具教師豐富的外科先驗知識和適用於流式處理的因果結構。
FlashDreams:實時推理引擎
模型蒸餾只是實現實時效能的一部分。Cosmos-H-Dreams 透過 FlashDreams 提供服務,FlashDreams 是 NVIDIA 為自迴歸世界模型和影片模型開發的加速推理庫。FlashDreams 透過多項互補技術,將蒸餾後的學生模型轉變為低延遲的流式系統。