据现场外部录音整理，未与本人录音对照。讲者是 Cookiy Labs 创始人，此前在 Instagram、腾讯、TikTok 工作；公司是总部在旧金山的美国公司，他说融资约 730 万美元。中文演讲，夹英文，无问答环节；最后一页话没说完就到了时间。

一句话

AI 用户访谈的成本大头是给受访者的报酬，不是访谈员，所以优化目标是每分钟拿到的洞察（insight per minute），而不是模型成本。为此他们放弃了大小模型配合和端到端实时模型，改用"判断、动作、回复"三类子 agent 级联，用多路并发调用压延迟，用几千条历史坏案例做 benchmark、离线大模型复盘来迭代 harness，并坚持一年内不做后训练。

论断

1. 成本在受访者，所以优化 insight per minute

用户访谈是很古老的生意：传统做法是线下多对一，主持人提问，业务方和一群 observer 坐在单向镜后观察、递追问。公司做的是把这套能力搬到线上。受访者要拿到不少报酬，才愿意老实分享一两个小时，所以他认为关键不是再压 AI 访谈员的成本，而是让 AI 尽量达到高效人类访谈员的水平。

“所以我们优化的最终的指标叫做insight per minute，因为站在客户的视角上，他要用尽量少的钱买到尽量多的insight”

  • 他们尽量用最好最贵的模型，不太在意模型成本。
  • 他自评目前可能只做到线下访谈一半的效果，没说怎么衡量。

2. 和 AI 客服的区别：看见人、多对一

技术栈和 AI 客服类似，是 VAD、STT、LLM、TTS 的管线，下一轮首字延迟要在 1.3 秒内。实时框架他点名了 Agora、LiveKit、Pipecat，说大同小异。不同之处在于 AI 要一边看受访者的脸，判断他是在开小差、玩手机还是认真回答，一边看他共享的屏幕追问，比如"你刚才做了这个操作，能不能解释一下为什么"。

“他要能继续地呃，向这个AI，比如说塞个小纸条说，哎，刚才那个人回答这个问题的时候，我觉得非常有意思，你能不能再问一个问题”

  • 这里的"他"是坐在后面的 observer，AI 要实时接收他们递来的指令。

3. 大小模型配合和端到端实时模型都没走通

大小模型配合听上去很好，但在他们的场景里不行：大模型想清楚下一问该问什么、要不要跳过、是否该结束时，小模型早就聊到下一个话题了，而且大模型经常被小模型带偏。

“然后很多时候大模型会被小模型带偏，你不管怎么调，这东西我们就是调不好。”

  • 他口头说谁能帮他们调好，愿意出 10 万美元。
  • 端到端实时模型做不了屏幕共享、复杂的多模态输入，复杂指令遵循也做不到；他认为实时模型的 thinking 能力比较差。

4. 三类子 agent 级联，加并发调用

最后行得通的是把"判断"“下一步动作"“具体回复"拆成三大类子 agent，每类配一批最好、最快的模型。他说级联不太容易串信息，前两步可以单独做到很快。

“同一个模型，你完全一样的那个输入去call它，它的那个那个latency是不一样的。我们因为成本不受限制，所以我可以同一个模型我就call五次，我就看谁最快”

  • 每一家模型都调五次，取最快的。他说模型偶尔输出的 JSON 格式不对、速度慢这类问题，都能这样暴力解决。
  • 没给延迟或提速数字。他说级联效果"可能"比之前更好，没给对比数据。

5. 用历史坏案例做 benchmark，离线复盘迭代

“好的洞察"没有一致定义，同一个问题问两个不同的用户研究员，他们的标准都不一样；有时团队觉得更好，客户不一定觉得更好。他们的办法是把历史上客户或团队自己觉得不好的场景收集起来，精确到某一问。

“就是一个30分钟的访谈，其中在第15分钟、20秒的时候，人类回了一句话，然后AI问了那个问题，然后那个问题客户觉得你问的好像不太对。”

  • 他说大概积累了几千条这样的案例做成 benchmark，给大致权重、每次跑多遍，每次优化像打地鼠。
  • 在线要在 1.3 秒内决定问什么，访谈结束后可以把整场 30 分钟到 1 小时的音频和文字交给 Claude Code 慢慢分析，找出问得不对的地方，再回去改实时 harness。
  • 他把这叫作"半自动 RSI”：有了 benchmark，又能自动找问题，就能自己转起来。他也说这很危险，容易优化到一个奇怪的局部最优。没说人在哪一步介入。

6. 砍 prompt，不做后训练

几个工程师英语不太好，所以用中文写 prompt。8000 字的 prompt 里很多指令互相冲突，尤其是相对小的模型，会变慢，还会出很多怪行为。

“所以我们最后把prompt本身砍到大概1/3的时候，呃，速度变快，效果还变得更好。”

  • 没给速度和效果的数字。
  • 他们坚持不做后训练：公司融的钱不多，做的是应用层，他认为未来一年 harness 还有大量空间，不需要自己 fine tune 或 post train 模型。他也承认观察到一些场景，不做后训练好像没办法改变模型的"性格”。

7. 北美 B2B SaaS 里技术只占一小部分（未讲完）

最后一页他说，作为北美的 B2B SaaS 公司，技术在里面是很小的一部分，最差情况下可以给客户上人工（这处转写不清，疑为人工访谈）；接着提到去菲律宾找英语很好的人类访谈员做比较，话没说完就到了时间。

存疑

  • 最后一页没讲完，与菲律宾人类访谈员的成本比较是什么结论不清楚。
  • 讲大小模型配合时，他举了"GPT live"和 Thinking Machines 的 interactive model 作参照，“GPT live"具体指哪个产品没听清。
  • 他说三类子 agent 的拆法和某个 decisions API 有关，具体指哪家产品没说清。