据作者现场录音整理,按讲者脉络转述,不是逐字稿。讲者是穹彻智能(Noematrix)的模型负责人,中文演讲,约 15 分钟,无问答环节。现场没有说出 Noe-0 这个模型名,只说"我们的基座模型"和"世界模型的架构"。
一句话
讲者认为具身智能从 demo 到落地的关键障碍是机器人获取一个新能力的成本。穹彻的路线是:用无本体采集的大规模真实场景数据训练一个输出未来视频和动作的世界模型,预训练和后训练用同一种数据来源,再加上力觉模态和 agentic 系统,把一个新任务的交付从"大团队几个月"压到"一个人两周"。
论断
1. 落地的关键是获取新能力的成本
今天网上几乎能看到任何一种机器人 demo,但工厂和服务业里很难看到真正满足落地要求的机器人。他认为差距在任务部署效率,也就是一个具身系统获取新能力的成本。现在的做法是项目制:独立立项,可能要超过 10 人甚至上百人的团队做几个月,交付一个简单的工作,而这个工作可能也没有很强的付费能力。
“我们有可能会将机器人获取新能力的成本从大团队开发数个月去逐渐推动到一个人去用两周内去交付,就像我们就今天出现的 AI coding 一样”
- 他把这画成一条轴:项目制,到一个算法工程师或受训过的蓝领工人两周完成一个工业交付(toB 规模化),再到普通人用语言、图像、身体姿态教会机器人新能力(toC)。
- toB 这一段他说可能在"未来半年或者一年内"做到,这是预期,不是已达成的结果。
- 这条是全场主线,后面几部分讲完都回扣到"用更快的速度、更少的成本获取新能力"。
2. 数据靠无本体采集,人工质检标注全部交给 AI
穹彻没有建数采工厂,而是把采集工具带进真实的生产场景,面对真实物体做真实任务。
“我们没有建设任何一个数采工厂,在全国现在接近 100 个城市,峰值有超过 1000 名数采员为我们服务”
- 自采数据接近 30 万小时,同时也在采购第一人称(egocentric)视频和自然视频。
- 对比数采工厂:一百人对着假桌子、假物体做同样的操作,好管理,问题能当场纠正。分散采集的难点变成管理,采集员可能主观上偷懒,或者客观上不理解采集过程。
- 所以数据管线不只交付给训练,还要在接近 T+0 的时间里告诉一线采集团队,最新一批数据是好是坏。
- 他说穹彻今天已经完全放弃了生产级别的人工质检和标注,认为在具身场景里人工标注不再有价值。
- 他称团队是国内最早做大规模数据采集的团队之一,2023 年率先发布了无本体数据采集方案。
3. 基座模型是世界模型,后训练也不用遥操作
“我们是一个世界模型的架构,我们输入的是图像和一些 language 的 prompt 去给这个机器人做一些指令,输出是一些对未来 video 的预测以及 action 的预测”
他选世界模型的理由是:数据更丰富时,世界模型能更好地吸收这些数据,在遇到新的物理环境时知道怎么应对。他说在无本体数据加世界模型的组合下已经验证了 scaling,数据增长、模型性能持续上升。后训练同样只用无本体数据,不用遥操作数据,目的是让预训练和后训练的数据来源一致,新任务的适配难度随预训练模型的增长不断降低。
- 现场没给数字,scaling 也没给曲线。他说此前只发了预览,下个月会发更详细的技术报告,内容包括一定的 zero-shot 能力、后训练后能较好保留预训练能力、在公开数据集上比较领先,但没点名榜单和比较对象。
4. 力觉是操作的第一性输入
预训练用纯视频和动作数据,力控数据在之后的阶段引入。他说位置变化产生力,力才产生想要的交互,所以力对具身操作是第一性的。
- 高精度操作,没有力的模态做不到。
- 削苹果皮这类 context rich 的操作,没有力的模态成功率会更低。
- 即便是大家认为不需要力的任务,加入力的模态也能让模型在后训练中收敛更快、需要的数据更少。这条他自己说"非常重要",三条都没给数字。
5. 基座模型管原子动作,交付还要 agentic 系统
基座模型更多关注单个原子动作;真正交付到现场,还需要长程复杂工作流的任务调度、执行过程中的诊断、能力不够时的自进化。他们前几个月开源发布了这样一套系统。
“大概两个工程师用了一个月的时间,编写了 2000 到 3000 行的代码,去走通了整个 demo”
- 例子是 2024 年上海 WAIC 上展示的地面清理 demo。两年半后,用最新的基座模型和这套系统,一个工程师看着系统,大约一天就能迭代出同样的结果。
- 这是全场唯一给出前后对比数字的案例;他没区分这次提速里多少来自新基座模型、多少来自 agentic 系统。
存疑
- 自采数据时长原话是"超过 3 接近 30 万小时",有口误,这里取"接近 30 万小时",需回放确认。
- 力控数据引入的阶段,原话前后矛盾(两处都说"预训练"),按语境应为后训练,需回放。
- 那套开源 agentic 系统的名字没听清。
- 讲 toB 交付时他给一线交付人员起了个称呼,疑为 FDE(前线部署工程师)。
评论