据作者现场录音整理,按讲者脉络转述,不是逐字稿。讲者是上海未来不远机器人(Futuring Robot)CTO,公司做家庭服务机器人。中文演讲,约 14 分钟,无问答环节。

一句话

家庭服务机器人要靠"世界动作模型 + 真实执行数据自动回流训练"的自进化机制提升成功率,这个机制的前提是软硬件时间对齐,燃料只能来自把机器人长期放进真实用户家里。

论断

1. 硬件不是通用部件拼装,子系统高度耦合

看起来像是机械臂、升降、底盘的组合,他说实际远比单一硬件系统复杂,各部分互相约束设计。

“所以呢,这个机器人的整个硬件系统,其实它的耦合度是非常高的”

  • 最新一代产品 F2:1500 多个零部件、21 个自由度、22 个传感器。
  • 手臂一动,在相机、雷达等传感器视角下位姿变化很大,对障碍物识别和避障要求更高。
  • 手臂多长、多重,运动时会不会影响机身和底盘稳定、重心会不会前移,反过来约束底盘怎么设计。
  • 模型一般工作在 30 Hz,电机一般 500 Hz,两者之间要衔接好,保证输出动作平滑。具体怎么做没讲。

2. 软硬件时间对齐是一切控制的前提

软件框架分云端平台、软件平台、硬件平台、工具链四块,没展开。他强调的是软硬件之间的同步和时间戳对齐。例子是拿桌上的杯子:相机是在什么时刻看到杯子的;手臂真正到位时,机身其他部位和杯子本身是否已经变了。

“所以它必须要做到一个硬件和软件之间的一个同步和时间戳的一个对齐,这个是我们不管是模型驱动也好,还是其他的这种控制的规律来讲也好,都必须要做到的一个前提”

3. 自进化:让真实执行数据自动成为下一代模型的养料

他把这套机制叫 self-evolving WAM,即可以持续自我进化的世界动作模型,并类比最近常说的 RSI(递归自我改进)。执行过的动作、想象过但没执行的动作、动作与物理世界交互的过程数据都保存下来,统一作为下一代训练数据。

“所以自进化的机制核心是在讲,不要人为的参与来决策我的模型什么时候去进步,什么时候去更新,而是我由一个统一的一个闭环的数据来源,来解决我新一代的模型训练的一个养料问题”

  • WAM 用同一个主干同时生成动作和预测动作之后操作对象会怎么变。
  • 输入包括视觉观测、本体状态(各关节位置、关节约束等)、任务目标、工作空间/臂长/关节力矩等约束,以及动作历史(要和上一步衔接顺滑)。
  • 训练数据:约 1 万小时第一人称数据,加 3 万小时一代机和二代机的真机数据。

4. 并行推理多种做法,只执行一种,其余也存下来

模型每次同时推理出几种做法,按能耗最小、时间最快等评分,选一种执行,他拿人脑一瞬间想几种做法来类比。没被执行的候选也入库。

“那么像这种呢,我们可以把没有被执行,但是被想象过的这些数据,也可以同时的给它保存下来”

  • 成功和有效纠正的数据进下一轮 post-train,往正确方向纠。
  • 失败数据做反向训练,避开失败方向,他说这是一个偏好学习的过程。
  • 没执行的候选轨迹也拿来训练。
  • 评分函数是什么、未执行轨迹的训练标签从哪来,没讲。

5. 四个家务任务,30 轮平均成功率从 45.4% 到 86.6%

四个任务是叠衣服、晾衣服、做意面、辣椒炒肉。

“我们模型的从第一轮的一个平均任务的一个成功率的起点是 45.4% 的一个成功率,到我们第 30 轮的这个迭代……实现的一个平均任务成功率达到了86.6%”

  • 比较对象是同一模型第 1 轮和第 30 轮,没给外部基线,也没说每轮多少数据、怎么判成功、测了多少次。
  • 辣椒炒肉成功率最低,因为把切辣椒、切肉这些备菜也算进了任务。用户的反馈是:菜都准备好了,那为什么不自己做。
  • 切的环节成功率从 38.2% 提到 68.9%,对应多少轮没说。
  • 叠衣服、晾衣服时衣服形态变化快,有人中途把衣服拿走,模型看当前观测和本体状态决定下一步,所以能抗干扰;一次性从起点规划到终点的方式做不到中途纠偏。
  • 他说晾衣服是目前机器人领域里成功率做得最高的一项应用,没给对比数据。
  • 做意面在今年 8 月的 WRC(世界机器人大会)上从早到晚连续演示,考验的除了模型还有本体的可靠性和稳定性。

6. 上层通用 agent,下层自研动作模型

他说幻灯片上一个机器人评测榜单里,排在前几名的都是 agent 架构或 agent 加 WAM 的架构;在精细任务上,VLA 和世界动作模型的执行能力更强。由此下一代系统分层:System 2 用通用大模型或 agent,System 1 用自研的自进化世界动作模型或 VLA,最底层仍受关节限制、输出动作频率等本体控制和保护策略约束。

“目前排在前几项的全都是以 agent 架构……的方式来拿到了最高的任务成功率的”

7. 必须把机器人长期放进用户家里

他说自进化不只在模型,也在硬件和产品设计上,前提是长期在真实家庭里使用。

“我们目前已经把机器人推广到 500 多个家庭里面去实际使用了,并且呢累计的工作时长已经超过5万个小时”

  • 这 5 万小时和前面 3 万小时真机训练数据是什么关系,他没说明。

存疑

  • 并行推理多候选的那套策略,他给了一个英文名,没听清,需对照幻灯片。
  • 评测榜单的名称、排名和具体数字只在幻灯片上,口述里没有。