据作者现场录音整理,按讲者脉络转述,不是逐字稿。讲者是 VAST / Tripo AI 的战略与合作 VP,英文演讲,约 14 分钟,无问答环节;中间讲技术接口和参数的一段录音不清,只能读出大意。
一句话
coding agent 已经能用代码直接搭出 3D 场景,这逼着 Tripo 重新想自己该做什么。他的答案是分工:能用文字说清的交给 agent 写代码,只能“认出来”、说不清的细节交给模型学;再往前走,用“程序维护显式世界状态,学习模型负责渲染画面”的结构,做出改动能留下来的可交互世界,并延伸到机器人数据。
论断
1. 调用 3D 模型的变成了 agent
他的开场问题是:AI agent 开始自己造 3D 东西时,一家 3D 公司会怎样。某个模型发布两天后,团队开了个群,名字大意是“它是不是把 3D 解决了”,规矩是只能发自己亲手试过的结果,不许转推特。群里看到的室内场景完全是 agent 用代码搭的,用了几十秒,没用任何 Tripo 这类 AI 原生 3D 模型。
“Honestly, what a bit of panic.” —— 说实话,有点慌。
- 房间尺寸、家具布局这类东西,agent 已经能用代码指定。
- 他们因此把问题改写成:如果调用 3D 模型的是 agent,agent 需要从我们这里拿到什么。演讲结尾又回到这个问题。
2. 能描述的交给 agent,只能认出来的交给模型
他说他们找到的分工是:能明确指定的东西,比如这里放扇门、让它能开、记分,agent 大多能写出来;角色的脸、生物的外形这类难以指定的细节,由模型学。这给了 agent 一个有力的工具,也是 Tripo 的新定位。
“Agent can actually write a lot of what we can specify.” —— 我们能明确指定的东西,agent 大多能写出来。
- 一张照片生成带细节、可放大贴图的网格,他让大家看人脸部分,说那种神似是模型从数据里学来的。
- 一位创作者用 Claude Code(疑为此产品)加 Tripo,16 天做出《小王子》题材的游戏 “Little Prince across the stars”,agent 管逻辑,Tripo 管 3D 资产。
- 日本创作者 Nano 把一张手绘变成了能动的角色。
3. 资产不是世界:程序管状态,模型管画面
他认为世界要记住发生过的事:开门、挪椅子、灭火,走开再回来,这些改变还在。做法是让世界状态保持显式,由程序知道门在哪、开着还是关着、走过去会怎样;再由学习出来的模型渲染看到的画面。换镜头、换画风,状态都不变。
“Keep the world state explicit. The program knows what happens.” —— 让世界状态保持显式,程序知道发生了什么。
- 火灭了就一直是灭的;在墙上留个记号,后来的人也能看到;两个玩家从不同机位看同一处,因为画面出自同一个状态。
- 开场 demo:小窗是游戏引擎渲染的简陋画面,主画面是模型实时生成的丰富画面。游戏引擎管移动规则和计分,他们的世界项目(名字没听清)管世界长什么样。
- 另一个寻宝式 demo:小窗是游戏程序的灰盒画面,程序决定角色是否到达触发点、在哪拾取。
4. 关键是接口
流程是:比如让 coding agent 搭个简单游戏,按一个键,游戏更新状态;模型拿到参考画面、首帧和文字提示生成下一帧,重要事件也可以用短文字描述传进来。参考画面可以来自游戏引擎、动画工具或别的程序,每个游戏不需要训练自己的模型。
“the useful part is the interface.” —— 有用的是接口。
- 实时演示用的模型大概是 5B 参数,演示配置大概是 720p、24 帧。
- 还有离线模式,可以给已有素材重新渲染;保留布局和动作、只换外观,可用于动画风格化。
- 机器人方向:把人手操作物体视频里的手换成机械臂,保留动作和场景,从一段真实演示里得到许多视觉变体。他说物理上准不准、对机器人学习有没有用还要测。
- 项目开源,包括模型权重和流式推理代码。
5. 还没解决的:细节漂移、状态转换、评测
他列了几个开放问题:角色重新进入画面时某个细节已经漂了,记忆要做得更好;状态转换的控制也很重要;还需要更好的评测。
“So for example, like a character can come back into a view with a detail that has drifted.” —— 比如角色重新进入画面时,某个细节已经漂了。
- 他最喜欢的一个例子:他们有个 agent 通过了可行走性检查,办法是放一把椅子或一个箱子当台阶,然后告诉你得爬上去。他说需要能抓住人真正在意什么的测试。
存疑
- 引发内部群聊的是哪个模型,没听清。
- 他们世界项目的名字没听清,需对照幻灯片。
- 5B 参数、720p、24 帧是根据不太清楚的录音推断的,而且是演示配置,不清楚是否所有场景都能达到。
- 开源协议疑为 Apache 2.0。
评论