机器人明明抓空了,世界模型却预测它成功抓起了水果。这不是科幻桥段中国配资,而是行业的普遍现象:给定完全相同的初始画面和动作序列,主流世界模型可以生成一段画面逼真、却与真实执行完全相反的视频。
如果不是把预测画面和真实执行放在一起逐帧对照,这次失败就被掩盖了——而这类偏差,正在主流世界模型中系统性存在。
10月20日消息,南方+记者获悉,全球首个以真实执行为标尺的动作驱动世界模型评测平台WorldOracle发布,并向开发者开放评测提交。项目由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学的研究人员联合完成,团队既有世界模型研发者,也有评测基准研究者。
WorldOracle直击行业一直没有基准正面回答的问题:给定一组动作,模型预测的未来,和真实发生的过程,究竟差多少?
元股证券:ygzq.hk此前的评测要么在仿真环境里跑,要么只靠文本驱动的视频生成。WorldOracle把考场搬到了真机实录现场:预先采集真实操作的画面与动作序列,让模型在相同条件下开放回放生成预测,再与真实执行逐帧对照。真实操作里的抓空、掉落、洒水被完整保留——准确预测失败,同样得高分。
WorldOracle 给这种“预测与真实执行的吻合程度”起了一个名字:执行一致性。一个可靠的世界模型,必须扛住三重压力测试——
因果服从:模型必须严格跟随给定动作序列,包括错误的动作、失败的操作。现实抓空了,预测出抓空才是满分答案;把失败“脑补”成成功,就是幻觉。
分布迁移:动作可以来自人类遥操作,也可以来自机器人策略的自主执行——后者带着停顿、抖动和临场修正,模型不能只会应付“标准操作”。
时序耐力:不是预测前10秒像不像,而是连续操作120秒后,误差是否还在可控范围内。
配资界官网这三重压力测试,WorldOracle 全部用真实世界的执行记录做标尺:预先采集真实操作的画面与动作,让模型在相同初始画面和动作序列下开放回放生成预测,再逐帧对照真实执行评分。
对已有基准的对比研究发现,WorldOracle是目前唯一同时做到“动作条件化+真实数据+含失败样本+长时序+多本体+多视角+策略自主执行分布”七项的评测基准——此前最接近的工作要么依赖仿真环境,要么只靠文本驱动的视频生成。
南方+记者 郜小平中国配资
优配网|配资官方持证平台 - 元股证券提示:本文来自互联网,不代表本网站观点。