允中 发自 凹非寺

量子位 | 公众号 QbitAI

VLA和世界模型已经把机器人推向“看懂世界”和“预测世界”的阶段。

但只要模型真的进入物理世界，问题很快就会变得更具体：

它拿什么学习这个世界，靠什么把动作做出来，又怎么知道自己到底碰到了什么。

前两个问题，分别指向数据和本体。第三个问题，指向触觉。

本周，哈工大（深圳）杨朔团队发布了TouchWorld，一个面向灵巧操作的触觉世界模型。

它的核心能力，是让机器人不只预测画面如何变化，也开始预测接触如何发生，并在真实操作中利用触觉反馈修正动作。

TouchWorld不是孤立的一篇论文。此前，杨朔团队已经推出EgoTouch和TouchAnything：

EgoTouch解决灵巧操作的触觉数据怎么采；

TouchAnything尝试从第一人称视频中恢复触觉，如何做低成本的触觉数据增广。

这三项工作连起来，构成了一条清晰路线：先采触觉，再恢复/对齐触觉，最后让具身模型真正使用触觉。

沿着这条路线，出生于1998年的年轻教授杨朔创办了破晓智能（PHANES AI）。

破晓智能要做的，是融合人类视频数据与触觉感知模态，构建人形机器人全身移动灵巧操作世界模型。

更具体地说，它不是只做一个触觉模型或硬件，而是希望围绕“机器人如何真正学会操作”，搭建一套从数据、模型到控制的完整能力链。

“破晓”这个名字，也对应了这家公司想解决的问题：在人形机器人走向真实操作之前，触觉数据、触觉世界模型、灵巧手反馈控制、全身移动操作仍然处在技术混沌中。

破晓智能希望从触觉数据切入，把这些能力重新串起来，让机器人从“看见世界”，走向真正“接触世界、操作世界”。

从Data-Centric AI，到机器人真实数据

杨朔现任哈尔滨工业大学（深圳）计算机科学与技术学院长聘教授、博导，也是破晓智能创始人兼CEO。

公开信息显示，他26岁获评哈工大（深圳）计算机学院长聘教授、博导，曾获Google Ph.D. Fellowship，入选国家级高层次青年人才、深圳市“高精尖缺”人才、广东省重大人才工程。

△

杨朔，破晓智能（PHANES AI）创始人、哈工大（深圳）长聘教授、博导

在研究上，杨朔长期关注多模态大模型、Data-Centric AI、可信AI、计算机视觉与具身智能等方向。

相比直接从“机器人创业”切入，他的路径更像是从一个数据问题一路走到物理世界：

模型到底应该用什么数据学习。到了机器人这里，就变成了机器人到底应该用什么数据学习真实操作。

在传统机器学习里，这个问题更多指向数据质量、数据选择、噪声标签和数据压缩。

到了具身智能，数据不再只是图像、文本和标签，而是人在真实世界中的连续操作过程。

过去一段时间，人类数据正在成为机器人学习复杂操作的重要入口。

NVIDIA EgoScale证明，第一人称人类操作数据在灵巧操作训练中具备Scaling Law；Generalist / Gen-1则进一步显示，大规模人类数据预训练结合少量真机数据后训练，可以显著提升机器人在长程、复杂任务中的成功率。

这两类工作共同指向一个趋势：相比完全依赖真机采集，让机器人先从大规模人类数据中学习动作过程、物体交互和任务结构，再用少量机器人数据完成对齐和适配，是一条更容易规模化的数据路径。

但这条路线仍然缺一层关键信息：触觉。

第一人称视频让机器人看到了人类如何观察世界、接近物体、抓取工具、完成任务。

但人和物体之间真正发生了什么，视频里并不完整。手指压在哪里，力有多大，物体有没有滑，接触是否稳定，这些信息很难只靠图像回答。

破晓智能给出的答案是：光有视觉不够，光有动作轨迹也不够。机器人还需要触觉，需要理解手和物体接触时发生了什么。

这也是杨朔团队从EgoTouch、TouchAnything走到TouchWorld的原因。

Touch系列：从采集触觉，到对齐触觉，再到使用触觉

从破晓智能的技术图谱看，Touch系列模型不是并列摆放的几篇论文，而是一条从数据到世界模型、再到全身控制的能力链。

EgoTouch解决的是触觉数据怎么采。

它把第一人称视频、腕部视角、手部姿态和双手压力图放进同一套采集系统里，让人类操作视频带上接触和压力信息。

团队围绕刚性物体、柔性物体、抓取、抓捏、拧动、工具使用等任务，采集人类在真实操作中的视觉和触觉数据。

△

EgoTouch第一人称视觉-触觉数据采集系统

TouchAnything解决的是如何让更多第一人称视频补上触觉。

带触觉的数据始终有限。真正戴上传感器采集的人类操作数据，成本高、规模小，也很难覆盖所有场景。

但互联网上已经有大量第一人称人类操作视频：人怎么拿起水壶、怎么抓球拍、怎么拧瓶盖、怎么使用工具，这些过程都被视觉记录了下来。

问题在于，这些视频只有画面，没有触觉。

TouchAnything要做的，就是用EgoTouch这类视觉-触觉对齐数据，训练模型学会从第一人称视频中估计双手接触区域和压力分布。

换句话说，它让模型具备一种从视觉里“恢复触觉”的能力：只看视频，也能推断手指哪里碰到了物体，哪里正在用力，压力大概如何分布。

这一步的价值不只是做一个触觉估计模型，而是把少量带触觉传感器的数据，扩展成更大规模的触觉监督。原本只能看到动作外观的人类视频，有机会被补上一层接触信息，变成更适合机器人学习灵巧操作的数据。

在破晓智能的技术路线里，TouchAnything更像一个数据放大器。

它一边承接EgoTouch采到的人类视觉-触觉数据，一边把触觉监督扩展到更多第一人称视频里。基于这层数据，TouchWorld才能进一步学习如何预测接触、使用接触；HumanWBC也才能把触觉带入全身移动、双臂协同和灵巧手控制。

△

TouchAnything多视角触觉预测模型架构。模型输入头戴第一人称视角、左右腕部视角和双手3D姿态，通过多视角视觉特征融合与姿态感知融合，预测双手压力分布图，从而从纯视觉视频中恢复触觉信息

TouchWorld解决的是触觉如何进入机器人世界模型和操作策略。

它不是简单给机器人多接入一个触觉输入，而是让触觉进入两个关键环节：提前预测未来应该形成怎样的接触，并在执行中根据触觉反馈修正动作。

换句话说，机器人不只是预测“下一帧画面会怎样”，也要预测“下一步应该碰成什么样”。

HumanWBC则是这条路线的下一步：基于人类数据训练全身移动灵巧操作控制模型，把感知理解、自主移动、全身控制、双臂协同和灵巧手操作接到同一个系统里。

所谓全身移动灵巧操作（loco-manipulation），不只是让机器人站在桌前完成一个抓取动作，而是让机器人真正从“能看懂”，走向“能走过去、抓起来、做完事”。

所以这条路线不是“做一个触觉模型”，而是以触觉为核心，把感知、仿真、决策和控制串起来，推动机器人全身移动灵巧操作大脑进化。

TouchWorld：把“手感”写进世界模型

TouchWorld的核心可以用两个词概括：predictive和reactive。

△

TouchWorld 三层架构：高层规划并预测目标，中层生成动作，高频触觉反馈实时纠偏

Predictive，指的是触觉目标预测。

机器人不只要预测未来画面，还要预测未来应该形成怎样的接触状态。

△

TouchWorld通过触觉世界模型预测机器人任务子目标

一个最简单的例子是按喷壶按钮。

从视觉上看，手碰到按钮和真的把按钮按下去，画面差别可能很小。尤其当手遮挡按钮时，图像很难判断任务是否已经完成。但触觉上，手指有没有接触、压力有没有到位，是更直接的判断。

TouchWorld预测触觉目标，就是让机器人知道：如果这个子任务完成，手指上应该出现怎样的接触和压力。

这对灵巧操作很重要。很多任务的完成状态并不完全体现在画面里，而是体现在手和物体之间的接触关系里。

Reactive，指的是高频触觉反馈修正。

真实操作中，物体会滑，接口会偏，手指可能没抓稳，灵巧手本身也会出现定位误差。机器人不能每次都等上层模型重新规划。它需要像人一样，在接触瞬间根据触觉反馈做快速调整。

人抓一个湿滑物体时，不会重新推理每个关节角，而是根据手上的触感立刻调整抓握姿态。TouchWorld的reactive模块也是这个逻辑：上层模型给出粗动作，底层根据实时触觉反馈输出修正量，让动作在接触中不断纠偏。

在TouchWorld的设计里，reactive模块的推理频率是Tactile World Model的4倍。中间策略每输出一个动作，底层都会进行多次细微调整，每次输出的是一个delta修正量，而不是重新生成完整动作。

这套机制让触觉不再只是被动记录，而是参与动作生成和执行控制。

TouchWorld在六个真实机器人任务上进行了测试：浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾。

△

TouchWorld在浇花、抽纸巾等六项真实机器人任务中完成测试

这些任务看起来并不炫，但非常适合检验触觉的价值。

浇花需要按压喷壶按钮；插头插入和杯子插入考验精密接触；擦锅需要持续调节压力；抽纸巾涉及柔性物体和稳定拉取；桌面清理则要求机器人在多个子任务之间切换，并保持抓取稳定。

实验中，TouchWorld在clean setting下平均成功率达到65.0%；在人为扰动场景下，平均成功率达到57.2%。

相比Pi-0.5、FTP-1、GR00T N1.7等对照方法，TouchWorld在两个设置下分别高出最强baseline 15.7和16.0个百分点。

这个结果不意味着灵巧操作已经被解决。65.0%的成功率也说明，这套系统距离大规模泛化还有很长距离。

它验证了一件更具体的事：当任务进入接触阶段，触觉目标预测和高频反馈修正，确实能提升机器人操作稳定性。

对破晓智能来说，这比单点成功率更重要。TouchWorld证明了触觉可以进入机器人世界模型和操作策略，而不只是停留在传感器读数层面。

△

HumanWBC采集人类视觉、动作与触觉数据，并对齐至机器人执行

冲破黎明前的黑暗

破晓智能这个名字，也蕴含着它成立的理由：机器人行业并不缺demo，也不缺关于通用智能的宏大叙事。但当机器人真的要从展示走向真实场景，很多基础设施仍然处在技术收敛前的混沌状态。

五指灵巧手加触觉就是其中之一：高自由度、带全掌触觉的灵巧手方案还不成熟；触觉数据难采；真机灵巧操作数据稀缺；触觉手套噪声大；不同传感器之间的数据表示不统一；统一benchmark也还没有建立……

这些问题看起来琐碎，却互相钳制着、决定了触觉灵巧操作能不能真正走出来。

在杨朔团队研究过程中，为了采集高自由度灵巧手的触觉数据，团队曾把触觉手套裁剪后，硬套到五指灵巧手上，自己搭出一套真机采集方案。

但是手套用几天就会坏，灵巧手会发热，第一天标定好的系统，第二天也可能出现漂移，数据噪声很大，采集效率并不高。

这些看似很工程的问题，反过来强化了一个判断：触觉灵巧操作不是单点模型问题，而是一个系统问题。

这也是破晓智能为什么不能只停留在模型侧、研发侧的真实原因。

在触觉灵巧操作里，数据本身就是基础设施。破晓智能正在搭建面向人类操作的多模态数据采集平台，方向是低成本、无感便携、全场景的数据采集，把第一人称视觉、腕部视角、手部姿态、全掌触觉、全身姿态等信息放进同一套系统里。

这些工作指向同一个目标：让机器人不只看到人类怎么操作，还能获得更接近“人手真实感觉”的数据。

只有这样的数据足够多，TouchAnything才能从视频中恢复触觉，TouchWorld才能进一步学习如何预测接触、使用触觉。

破晓智能要做的，也不只是发布一个模型。

它要围绕人形机器人全身移动灵巧操作，补齐一套系统能力：触觉数据采集、触觉估计、触觉世界模型、遥操与硬件infra、评测体系，以及面向人形机器人的全身移动灵巧操作模型。

如果说EgoTouch和TouchAnything解决的是触觉数据从哪里来，TouchWorld解决的是机器人如何预测和使用触觉，那么HumanWBC指向的是破晓智能最终想完成的闭环：让机器人把感知理解、自主移动、全身控制和灵巧操作接起来，从“能看懂”，走向“能走过去、抓起来、做完事”。

这一步会把问题从桌面灵巧操作继续推向更复杂的人形机器人任务：移动、平衡、双臂协同、长程任务、全身控制，以及触觉反馈如何和机器人整体动作系统结合。

破晓智能想做的，是让机器人从“看见世界”，走向“理解接触世界”。

未来的人形机器人要进入家庭、服务、工业等真实场景，不能只靠视觉和语言。它必须知道自己有没有碰到、有没有抓稳、有没有滑、力是否合适，以及动作偏了以后该如何修正。

从EgoTouch到TouchAnything，再到TouchWorld，杨朔团队已经把这条路线推进到了真实机器人操作系统里。

破晓智能第一次亮相，想抛出的判断很明确：机器人基础模型的下一层能力，是触觉。

而冲破黎明前黑暗的第一步，就是让机器人真正知道自己碰到了什么。

本文转自：凤凰网科技

原文地址： https://tech.ifeng.com/c/8uhGrfAB4Iz