据作者现场录音整理,按讲者脉络转述,不是逐字稿。讲者是阶跃星辰开发者业务、产品与生态 GM,负责模型的产品平台和生态。先用英文自我介绍,之后用中文讲,无问答环节,幻灯片内容只能从口述还原。
一句话
长程 agent 能不能交付可信结果,模型能力只是底座;要靠 harness 补上四个工程环节(保存目标和进度、挑选上下文、执行前定好验收条件、云端持续执行),模型侧的具体能力也要靠专门做数据和评测才有,不能等泛化。
论断
1. 选模型看四项工程能力
做长程 agent 时,她建议评估模型看激活参数、长上下文、原生视觉、工具调用四项,说这几点"大家在每一个模型评估当中可能都需要把这几个点纳入进去"。
“因为长的任务呢,会需要反复的推理和调用工具,所以单步的开销会不断累积,在模型能力和计算效率是要一起考虑的”
- 阶跃 9 月发布的旗舰模型,每 token 激活 27B,没给比较对象。
- 长上下文在实践里主要用来装代码、长文档和任务记录,需求不在这三类里,过长的上下文不一定效果最好。
- 原生视觉的用途是让 agent 看截图、设计稿、渲染结果,检查产出物是否符合预期。
2. 有些能力做了就有,没做就没有
她说社区反馈模型在 bug 修复和重构上表现好,原因是团队专门、细致地做了这件事,内部自建了 codebench,仓库领域、语言、任务都自定义。她说这是教会她的一课。
“就是有些事情你做了就有,你没有做就没有。它不是完完全全的所有的事情都是等待泛化的”
- 专家评测里约七成评测者认为模型能自主完成复杂 coding,评测规模和比较对象没说。
- 6 月她在公司内部发起"美育计划",认为下一代模型要有审美。她说审美是一种选择和判断,前提是先灌入领域知识,缺领域知识的维度输出就不稳定。
- 团队有两个新岗位:model product 定义下一代模型、参与每代演进,以及 product engineer。他们的工作之一是持续学习跨领域知识,找前沿场景放进模型。
3. 长程实验:反馈要影响下一步
她拿三个需要反复执行、读结果、再调整的长程实验,归纳 harness 要补的环节。
“如果一次的任务执行的修改它没有改善呢, agent 是需要分析原因的,再尝试另一条路,把前面获得的信息用到下一步当中去”
- 单张 H100 上做 kernel 优化,agent 持续迭代超过 22 小时,没说优化结果。
- 后训练数据流程优化,准确率从 53.3% 提到 60%,没说是什么任务的准确率。
- Pokemon 实验:3000 多轮探索、累计 600 万 token,完成约 2/3 主线任务。
- 她说据她所知,业界 agent 执行时长已到 26 小时甚至 48 小时,没说来源。
“把模型的能力真实的用到工作流里,需要补充很多的工程环节”
4. 在上下文之外保存目标和进度
步骤一多,agent 会忘记早先的要求,或重复失败的路径。他们用三类长期记录:任务树(目标、步骤、进度、下一步)、会话(交互历史)、文件系统(代码、日志、成果)。每一步取回当前目标、相关文件和最近的工具反馈,组成工作上下文。
“当你的步骤多了以后呢, agent 会忘记早先的要求,或者它会重复失败的路径,需要在当前的上下文之外去保存进展”
5. 按预算挑选当前上下文
文件、日志、截图这些原始输出先过一道预算:长文本分段或截断,图像压缩,再组装成主 agent 的工作记忆。subagent 只回结论,完整记录沉淀到任务树和外部状态里按需检索。她说这个决策很关键。
“主线的上下文结论是优先的, subagent 会返回结论,完整的执行记录会沉淀到任务树和外部的状态里面”
- 例子:排查构建失败只需报错位置、相关代码和最近操作,旧日志存在外部,要追溯时再取回。
- 尺度随任务调,确实需要完整模块或长历史时就完整取回。
6. 执行前写清验收条件
循环是选行动、跑构建测试或渲染、对照任务检查、更新状态、进下一轮。她说 verify 几个月前还要按任务类型逐个做,现在 harness 里已有一些通用能力。
“这里有一个我们很重视的环节,就是尽量在执行前说清楚验收条件”
- 网页的例子:编译通过只是一步,功能是否符合需求要用户和 harness 一起定义。
- 她类比十年前讲究代码品味和一致性,要像约束集团代码库一样约束 harness 的产出。
- 她认为判断在一般意义上很主观,但在具体任务场景里是客观、可以被评估的。
7. 云端是脑,本地和 sandbox 是手
整体架构分三层:模型、agent harness、Studio(托管执行,承载云端 harness 和远端工具)。她认为这套组合在业界基本雷同,是面向 always on 的基础范式。
“上面的云端 harness 呢,它更接近脑,负责组织计划和上下文,选择工具啊,等待结果”
- 中间层保存目标、计划和会话历史,下一次能接上进度;本地客户端断开后,云端工作仍能推进。
- 访问本地资源和文件用本地电脑,适合隔离运行的操作交给远端 sandbox。
- 结尾提到:agent harness 已开源;Studio 体验站点在官网上线,有免费额度;桌面端计划 11 月发布。效率部分她跳过了。
存疑
- 9 月旗舰模型的具体型号、开源 agent harness 的名称都没听清,需对照幻灯片或官网。
- Pokemon 实验的前提条件没听清,可能是"没有游戏专用工具的情况下"。
- 53.3% 到 60%、22 小时、3000 轮、600 万 token、27B 激活这些数字没见到幻灯片。
- 年初"非常火"的技术栈她说的是 OpenAI,原词可能是别的框架,需回放。
评论