在走向通用东说念主工智能的说念路上，机器东说念主领域历久面对着“莫拉维克悖论”的截止：好多对东说念主类来说很穷苦的事，AI 却很擅长；而好多对东说念主类来说满有摆布的事，AI 反而作念不到。
举例，让意想机在技艺测试或棋类游戏中打败东说念主类好像相对容易，但要让机器东说念主像一岁孩子那样具备对物理寰球的感知和开通本能，却难如登天。
连年来，大谈话模子展现了对东说念主类学问的压缩与生成才气，但在物理交互层面，若何让智能体勾搭“动作”与“环境”之间复杂的因果关连，历久是具身智能尚未攻克的难题。
近日，（NVIDIA）与其通器用身智能扣问团队（GEAR）共 30 个作家连合发布了一项代号为 DreamDojo 的最新扣问后果，试图从根底上影响机器东说念主学习物理寰球的面貌。
这项责任并莫得依赖传统的、机密的机器东说念主遥操作数据堆叠，而是匠心独具，构建了一个包含 44，000 小时、第一东说念主称视角东说念主类视频的巨大数据库，并以此老练出了一个能够通用化的机器东说念主寰球模子。
这一模子不仅能够传神地生成物理交互视频，更枢纽的是，它让机器东说念主初度具备了可控的“瞎想力”。即在实施动作之前，在潜闪现中预演东说念主类寰球物理后果的才气。
寰球模子的看法一经并不崭新。从早期的游戏环境模拟到自动驾驶中的轨迹预计，预计当年气象一直是智能决策的中枢。然则，在灵通寰球的机器东说念主操作任务中，寰球模子的构建面对着私有的挑战。与有着明晰规矩的电子游戏或结构化说念路不同，家庭、工场或办公室等非结构化环境充满了不细目性。
举例一个看似简便的“握汲水杯”动作，触及物体材质、摩擦力、液体漂泊以及机械臂能源学等无数变量。此前的视频生成模子，如 OpenAI 的 Sora 或 Google 的 Genie，天然在画面生成质料上取得了摧毁，但它们大多衰败精准的动作限度接口，难以平直作事于机器东说念主的决策回路。
而这次 DreamDojo 的中枢摧毁就在于此，它讲明了通过大鸿沟的东说念主类视频预老练，结合改进的“潜在动作”（Latent Actions）表征，不错灵验地弥合东说念主类与机器东说念主之间的“具身相反”（Embodiment Gap），从而让机器东说念主取得对物理规矩的通用勾搭。
借力东说念主类视频摧毁数据缺口
历久以来，制约机器东说念主基础模子发展的最大瓶颈在于数据。尽管互联网上充斥着万亿级别的文本和图像数据，但高质料的“机器东说念主操作数据”。即包含精准动作提醒（Action Labels）和环境反馈的序列数据却相当稀缺。现在主流的机器东说念主数据集，如 Open X-Embodiment，天然汇集了多个实验室的数据，但在场景各种性和物理交互的丰富度上，仍远不及以笼罩信得过寰球的复杂性。
英伟达团队闪现到，单纯依靠扩大机器东说念主实体数据的集聚鸿沟是不现实的。集聚本钱激越、硬件损耗大、场景派遣繁琐，这些身分截止了数据的增长速率。比较之下，东说念主类在普通生计中年复一年王人在与物理寰球交互，而这些交互过程要是被纪录下来，自己即是蕴含着丰富物理学问的宝库。
为了挖掘这一宝库，MILAN SPORTS扣问团队构建了名为 DreamDojo-HV（Human Videos）的数据集。这是一个鸿沟惊东说念主的数据集中，包含了约 44，711 小时的第一东说念主称视角视频。
这些视频并非来自于受控的实验室环境，而是平庸集聚自信得过寰球，涵盖了家庭烹调、工业维修、手工制作、普通清洁等逾越 6，000 种私有的手段和 1，000 多种不同的场景。为了保证数据的各种性，团队还额外整合了 EgoDex 等现存的高质料数据集，使得 DreamDojo-HV 在鸿沟上比此前机器东说念主学习中使用的最大视频数据集还要大出几个数目级。
然则，平直使用东说念主类视频老练机器东说念主模子也面对着一定穷苦。最直不雅的问题是：东说念主类的手臂结构与机器东说念主的机械臂完全不同，且东说念主类视频中并不包含机器东说念主的枢纽角度、力矩等限度信号。这种缺失导致模子难以平直学习“动作”与“结果”之间的映射关连。
逐帧推理下一个动作
为了料理无标签东说念主类视频的欺诈问题，DreamDojo 引入了一项枢纽技能：连气儿潜在动作（Continuous Latent Actions）。
在传统的机器东说念主学习中，模子频频平直预计芜杂的枢纽动作或终端实施器位姿。但在处理海量无标注的东说念主类视频时，这种步调行欠亨了。因此，扣问东说念主员策动了一个基于时空 Transformer 的（VAE）当作“潜在动作模子”。
这个模子的作用近似于一个能够勾搭动作现实的“翻译官”。它不暖和具体的枢纽若何旋转，而是通过不雅察视频中连气儿帧的变化，索要出一个低维的、连气儿的潜在向量。这个向量代表了导致环境发生变化的“意图”或“力学特征”。
通过这种策动，潜在动作成为了勾搭东说念主类视频与机器东说念主限度的通用桥梁。在预老练阶段，模子通过自我监督的面貌，学习若何从像素变化中推断出潜在动作，并欺诈这些潜在动作预计下一帧画面。
这使得 DreamDojo 能够在莫得显式动作标签的情况下，从 44，000 小时的视频中经受物理寰球的因果逻辑。举例，它通过不雅察无数次“手推开门”的视频，开云app下载学会了“施加推力”这一潜在动作会导致“门掀开”这一视觉结果的物理规矩，而这种规矩关于机器东说念主来说一样适用。
在具体的模子架构上，DreamDojo 诞生在英伟达此前发布的 Cosmos-Predict2.5 基础之上。这是一个坚定的潜在视频扩散模子（Latent Video Diffusion Model），原来用于通用的视频生成。为了妥当机器东说念主的及时限度需求，扣问团队对其进行了深度的改进。
为了提高动作的可控性，团队废弃了全王人枢纽位置的输入面貌，转而领受“相对动作”（Relative Actions）当作条款。实验标明，相对动作能够更好地聚焦于物体与手部的交互变化，减少了配景环境对模子预防力的漫步。
同期，针对视频生成中常见的“因果耻辱”问题，即模子难以划分动作是原因照旧结果。扣问团队提倡了一种“分块注入”（Chunked Injection）政策。
他们将当年的动作序列打包成块，一次性输入到模子的每一帧生成过程中。这种强先验信息强制模子暖和永劫程的动作影响，从而显耀擢升了生成视频的逻辑连贯性。
此外，为了确保生成的物理过程妥当现实寰球的连气儿性，扣问团队还引入了寥落的时间一致性蚀本函数（Temporal Consistency Loss）。这一函数拘谨了物体在时间轴上的开通轨迹，胁制了视频生成中常见的物体能干、造谣灭绝或神色突变等伪影风物，确保了物理模拟的高保真度。
从慢速扩散到超快及时“瞎想”
领有一个懂物理的模子仅仅第一步，关于机器东说念主应用来说，推理速率至关弥留。传统的视频扩散模子生成一帧高质料画面陆续需要数十次迭代，耗时数秒，这关于需要毫秒级反应的机器东说念主限度回路来说是弗成采选的。
为了料理这一难题，DreamDojo 领受了一种名为“自免强”（Self Forcing）的蒸馏技能，得胜将原来贫窭的双向预防力扩散模子回荡为高效的自记念模子。
这一过程通过“西宾-学生”老练模式兑现：率先欺诈高精度的西宾模子生成广博的轨迹数据，然后老练学生模子去效法这些轨迹。但在蒸馏过程中，学生模子不仅要学习单帧的生成，还要学习如安在仅有极短历史迤逦文的情况下，预计当年的历久演变。
这一蒸馏过程将模子的推理步数从原来的 35 步大幅压缩至 4 步。最终，DreamDojo 在单张 NVIDIA H100 GPU 上兑现了 10.81 FPS（帧/秒）的及时推理速率。这意味着机器东说念主不错在不到 0.1 秒的时间内，在“脑海”中生成当年的视觉反馈。
这不仅称心了及时限度的要求，更让永劫程的交互模拟成为可能。实验显现，经过蒸馏后的模子能够连气儿生成长达 1 分钟（约 600 帧）的恬逸视频，且在永劫期跨度下依然保持对物体偏激物理属性的牵挂，莫得出现常见的画面崩坏。
买通“虚实”畛域的现实应用
DreamDojo 的价值远不啻于生成传神的视频，其实质是为机器东说念主提供了一个低本钱、高保确凿“试错空间”。基于这一生界模子，英伟达团队展示了三项中枢应用，充分讲明了其在机器东说念主研发与部署过程中的后劲。
率先是政策评估（Policy Evaluation）。在机器东说念主斥地中，考据一个新的限度政策频频需要实机测试，这不仅遵守低下，还伴跟着硬件损坏的风险。DreamDojo 提供了一个替代决议：将政策部署谢寰球模子中，让机器东说念主在虚拟的视频流中实施任务。
扣问东说念主员在 AgiBot 机器东说念主的生果包装任务中进行了考据，结果令东说念主慷慨：DreamDojo 模拟出的任务得胜率与信得过寰球的得胜率呈现出极高的线性权衡性（Pearson 权衡通盘高达 0.995）。这意味着斥地者不错宽解地在模拟环境中筛选最优政策，而无需在现实寰球中进行成百上千次的物理实验。
其次是基于模子的运筹帷幄（Model-based Planning）。欺诈 DreamDojo 的预计才气，机器东说念主不错在实施动作之前，在“念念维”中并行推演多种动作决议的结果。
举例，在握取一个被荆棘的苹果时，机器东说念主不错预演平直握取和先移开荆棘物两种决议，DreamDojo 会即时生成相应的当年视频。通过评估视频中的任务完成度，机器东说念主不错聘请最优旅途。实验标明，在引入这种在线运筹帷幄机制后，机器东说念主在复杂长程任务中的得胜率比较平直实施政策擢升了近两倍。
终末是及时遥操作（Live Teleoperation）。借助蒸馏后的高推理速率，操作员不错通过 VR 手柄及时开首虚拟环境中的机器东说念主。DreamDojo 能够即时反应操作员的动作，并生成相应的视觉反馈。这种“所见即所得”的零蔓延体验，不仅为汉典限度提供了新的界面，也为东说念主类向机器东说念主演示复杂手段提供了更直不雅的数据网罗面貌。
天然，DreamDojo 并非绰有余裕。英伟达团队在诠释中坦诚地指出了面前模子的局限性。尽管在大部分普通场景中发达优异，但在面对一些顶点动态（如快速挥手、物体高速碰撞）或触及复杂流体能源学（如倒水时的水流湍流）的场景时，生成的视频仍会出现物理失真或拖沓。
此外，天然模子在未见过的物体上展现了精良的泛化性，但关于完全生分的物理机制（举例具有特殊弹性的软体材料），其预计才气依然有限。
此外，现在的 DreamDojo 主要侧重于视觉层面的物理模拟，尚未整合触觉、听觉等多模态信息。关于像“盲插钥匙”或“判断物体分量”这么相当依赖触觉反馈的细致操作任务，单纯依靠视觉预计的寰球模子仍显给力不从心。当年的扣问标的可能需要探索若何将触觉信号引入潜在动作空间，构建愈加万能的多模态寰球模子。
https://arxiv.org/abs/2602.06949
运营/排版：何晨龙
备案号: