据作者现场录音整理，按讲者脉络转述，不是逐字稿。讲者在 Liquid AI 的 post-training 团队，英文演讲，约 13 分半，无问答环节。她说临时把题目改成了正在快速变化的“决策模型”。录音质量较差，不少术语按上下文推断，中间放 demo 的几段没有录到内容。

一句话

她认为 agent 里很多 LLM 调用其实是在做一个个小决策，没必要逐 token 生成；决策模型一次前向就给出答案和置信度。做法上，任何 LLM 加一个选项模板就能当基线，再用 LoRA 在分类任务上微调、去掉因果掩码改成双向注意力、用温度缩放校准置信度（不用强化学习），就能得到能放进手机和笔记本的小模型。

论断

1. 很多 LLM 调用只是在做小决策

她说今天软件里用 LLM 不只是生成，还用它做大量小决策。让模型逐 token 生成再解析，又贵又慢还会出错；决策模型只做一次前向，返回最终答案和一个分数。

“and that’s expensive, takes time, and you can make mistakes.” —— 这很贵、费时间，还可能出错。

  • 她说最近出了一类新的前沿模型，就是决策模型，随后大家都赶着做自己的，Liquid 在过去六七天发了好几个，有托管在 API 上的大模型，也有给端侧用的开放小模型。
  • 她说当天早上看到自家一个托管的大模型在某个决策榜单上排第一，没给分数和对手名单。
  • “贵、慢、会出错”是和逐 token 生成比，没给数字。

2. 三种用法：是非、打分、多选，有用的是置信度

调用时传入一个状态和一个关于它的问题。她现场的例子是：一周后要演讲，想把题目换成一个每天都在变的新东西，这是个好主意吗？模型回答这是个很糟的主意，打分题也给了很低的分，现场有笑声。题型有是非、打分和选择三种。

“so, you get to decide where you want to put that threshold” —— 阈值由你来定。

  • 她说决策模型会错，但会告诉你它什么时候没把握，这是它有用的地方。
  • 例子：模型 90% 有把握就用它的答案，否则干脆不答。90% 是举例，不是实测。

3. 基线只要几行代码，但问题不少

任意一个 LLM 就能做基线。他们为了端侧用的是自家模型家族：提示里先给状态，再给问题，每个选项前加一个字母 A、B、C，只做一步前向，读各选项的概率，做点运算就得到答案。

“turns out, all you need to make a decision model is any LLM, and it’s about this many lines.” —— 原来做一个决策模型，只要任意一个 LLM，大概这么几行代码。

  • 她说这能用，是个好的起点，但 LLM 是被训练来预测下一个 token 的，不是被训练来做决策的。
  • 例子：调换选项顺序，模型每次给的答案都不一样；模型还会偏向负面答案。

4. 训练：分类任务改成决策模板，LoRA 微调，去掉因果掩码

做法是把一批分类任务转成同一个提示模板来训。有的团队做全参数微调，有的做 LoRA，他们发现在这个问题上 LoRA 更有效，没给数字，也没说用什么指标比。然后去掉因果掩码：预测下一个 token 的模型只能看前面的 token，她说对决策模型来说这没道理，于是改成双向注意力，让它一次看到全部内容。

“in our case, we found that LoRA was more effective than full fine-tuning for this particular problem.” —— 我们发现在这个问题上 LoRA 比全参数微调更有效。

5. 校准置信度不需要强化学习

她说这类模型常常过度自信：嘴上说 90% 有把握，实际只有 70% 的时候是对的；校准好的模型 90% 有把握时，应该十次里只错一次。有人用强化学习来校准，他们发现不需要，用温度参数调整输出分布就行：调高把分布摊平，调低让它更尖，不用动模型本身。

“but it turns out we actually don’t need any reinforcement learning at all.” —— 但我们发现根本不需要强化学习。

  • 90% 对 70% 是解释“过度自信”的举例，不是某个模型的实测。
  • 温度缩放和强化学习校准没给效果对比数字。

6. 已经小到能放进手机和笔记本

她说模型做得足够小，能放进设备，于是开始加新功能。上周一次团队活动做出了两个新的决策模型，一个只处理文本，一个能处理文本加视觉，参数量很小，完全能在手机或笔记本上跑。

“So one of this is just a few weeks old and the chance of this talk being outdated next week are very high.” —— 这东西才出来几周，这场演讲下周就过时的可能性很高。

存疑

  • 引发这一波决策模型的是哪家、哪个模型，没听清。
  • 自家排第一的那个模型名和榜单名都没听清，“过去六七天”这个时间也需确认。
  • 两个端侧新模型的具体参数量级没听清。
  • 讲训练时她提到外界有两种做法、他们新一代“两样都做”，中间一段没录到，两种做法具体指什么不清楚。
  • 温度缩放那段，她说的“不动”的对象可能是模型权重，也可能是答案的排序，需回放。
  • 讲者自家模型家族推测为 LFM 系列。