NVIDIA Cosmos-H-Dreams: Bringing Real-Time Generative Simulation to Surgical Robotics
2026-08-20 · Hugging Face
NVIDIA Cosmos-H-Dreams:将实时生成式仿真引入外科机器人
外科机器人正迅速从远程操作转向功能更强大的视觉-语言-动作策略。然而,对这些系统的评估和训练仍面临重大困难。物理机器人平台操作成本高昂,实验难以快速复现,失败可能损坏器械或生物材料。虽然传统模拟器提供更安全的替代方案,但外科场景极难精确建模:可变形组织、精细器械交互、镜面表面、缝线、针、烟雾和遮挡等因素都至关重要。
世界基础模型提供了不同路径。它不需手动为每个物体和物理交互建模,而是直接从同步视频与机器人运动学数据中学习视觉动态。NVIDIA 先前发布的 Cosmos-H-Surgical-Simulator 展示了这一方法,能够根据初始场景和机器人动作序列生成未来的外科视频。这使得在 Open-H-Embodiment 生态系统中可实现快于真实物理速度的评估和合成数据生成。
从外科世界模型到交互式模拟器
Cosmos-H-Surgical-Simulator 是基于 NVIDIA Cosmos-Predict2.5-2B 构建的动作条件化世界基础模型,并在 Open-H-Embodiment 数据集上进行了后训练。给定一张外科上下文图像和未来的机器人轨迹,它能生成展示这些动作可能视觉结果的视频。这使其特别适用于离线策略评估和合成数据生成:研究者可将记录或策略生成的轨迹输入模型,生成对应的 rollout 视频,随后进行检查或评分,而无需在物理机器人上反复执行动作。
Cosmos-H-Dreams 将这一能力推进到实时领域。它从 Cosmos-H-Surgical-Simulator 学习到的多 embodiment 外科先验出发,针对 da Vinci Research Kit (dVRK) 桌面缝合任务进行专门化,并蒸馏为一个因果学生模型,实现场景的自回归生成。发布的模型接收初始 RGB 帧和机器人运动学的实时数据流,生成下一段帧序列,随后继续处理后续动作块。
研究团队还与 CMR Surgical 和 Cambridge Consultants 合作,将 Cosmos-H-Dreams 集成到 Versius 外科控制器中,成功实现了 Versius 平台上的实时操作,展示了系统的 versatility。
为实时性能提炼 Cosmos-H-Surgical-Simulator
核心挑战是在大幅降低生成成本的同时,保留有用的外科动态。Cosmos-H-Dreams 采用专门为长自回归 rollout 设计的教师-学生训练流程。
2.1 外科教师模型
双向教师模型起始于 Cosmos-H-Surgical-Simulator 的 Open-H 检查点,该检查点采用统一的 44 维动作表示。对于发布的 dVRK 桌面模型,双臂 dVRK 的相对末端执行器平移、旋转和夹持器状态被映射到这一通用表示中。
教师模型随后在 JHU dVRK 桌面混合数据集上进行微调。该数据集不仅包含成功演示,还包括失败和分布外样本,例如掉针、投掷失败和不成功的打结。这些失败案例至关重要,因为用于策略评估的模拟器必须能够重现不良动作的后果,而非仅展示理想情况。
为提升长 rollout 的稳定性,训练过程逐步增加教师的时间范围:从 12 帧开始,逐步提升至 72 帧。每次范围提升时,都使用此前热身完成的模型权重进行初始化。
2.2 因果热身
教师的去噪轨迹首先被预先计算并缓存。随后从教师初始化一个因果学生模型,并训练其模仿这些缓存轨迹。这一热身阶段使学生学会使用因果注意力和流式键/值缓存,再开始从自身生成的歷史中学习。
2.3 自强制提炼
自回归模型普遍面临训练-部署不匹配问题:训练时使用干净的真实上下文,而部署时必须依赖自身生成的可能有误差的输出,小误差会随时间累积。
Cosmos-H-Dreams 通过自强制提炼解决这一问题。在训练过程中,学生使用自身生成的上下文进行前向滚动,冻结的教师则提供分布匹配监督,将这些自生成 rollout 引导至真实的外科视频分布。这让学生为交互式推理时将遇到的真实条件做好准备。
最终得到的模型支持少步扩散,每个潜在帧仅需 2 个去噪步,而非教师所需的多步过程。它兼具教师丰富的外科先验知识和适用于流式处理的因果结构。
FlashDreams:实时推理引擎
模型蒸馏只是实现实时性能的一部分。Cosmos-H-Dreams 通过 FlashDreams 提供服务,FlashDreams 是 NVIDIA 为自回归世界模型和视频模型开发的加速推理库。FlashDreams 通过多项互补技术,将蒸馏后的学生模型转变为低延迟的流式系统。