据作者现场录音整理，按讲者脉络转述，不是逐字稿。讲者是 Jina AI by Elastic 的 Principal Engineer，讲的是 Jina Reader。幻灯片是英文，他临时改用中文讲，快闪场约 12 分钟，无问答环节。题目里的 trillion-token 规模在口述里没有出现，他没给总处理量。

一句话

AI 读网页的 token 账很贵：把整页原文喂给主流模型，每千个页面的成本在 9 美元以上，已经和互联网广告每千次浏览 3 到 15 美元的收入相当。所以网页转 Markdown 之后还要再压缩；而"agent 按请求给网站付费"他个人不太看好，更想用"agent 看广告、做可验证的公开任务"换取免费访问。后半场是他自己说的"不成熟的想法"。

论断

1. Reader 总用无头浏览器渲染，难点是尽早判定加载完成

Reader 永远用无头浏览器渲染网页，好处是无论目标网站用什么技术，都能拿到人能看到的内容。他们的优化主要集中在浏览器渲染这个环节。

“因为在这一个环节，它的难点是如何尽早的检测或者判定网页加载完成的时间点”

  • 流程：本地起浏览器，页面加载前在 JS 环境注入 preload script，同时审查所有网络请求；判定加载完成后在页面内部截取当前状态并上报到页面外，结合请求要的返回格式，在最早的时间点返回。判定"完成"的具体规则没讲。
  • 用法是在目标 URL 前面加上 r.jina.ai；核心代码在 GitHub 开源，他建议让自己的 coding agent 直接扫代码讲解。
  • 有免费额度，允许匿名访问，这样 AI agent 可以自行访问服务。
  • 跑在 serverless 平台上，单个请求延时固定，集群容量随时变动。
  • 输入有网页和 PDF 两种，输出有大模型友好的文本和截图（或 PDF 渲染图）两种。

2. 网页 token 长度呈对数正态分布

“总的来讲经过 Reader 处理之后的网页 Token 长度的中位数大概是 4.5K 到 5K 左右”

  • 数据来自 Reader 后台。样本量、时间范围、用哪种 tokenizer 没说。
  • 在对数轴上看是对数正态分布，平均数大约是中位数的 4 倍，这点他讲了两次。
  • 不处理、直接用 HTML，中位数约 30K（忽略了一些异常值）。
  • 再丢掉链接地址和图片地址，中位数再降约 1.5K，到 3K 左右。

3. 读网页的成本已和广告收入同一量级

数据抓取行业以千次调用单价比价。他按中位数口径算同样一千个网页：

“如果你直接把网页的全部内容放到主流模型里面去处理，那么这个单价是非常惊人的，可能是，是 9 刀以上，即便你放到中国产的中国的模型里面，那么它也会在 3 刀以上”

  • 作为对比，互联网广告每千次网页浏览的收入大约 3 到 15 美元。
  • 先预处理或用专门模型抽取、摘要，底价是 0.45。
  • 这是中位数口径，按平均数算会更多。用的是哪几个模型、什么单价没说。
  • 他给的两条启示：AI 用户的付费能力很高；网页转 Markdown 不是最后一步，还要用专用模型或传统的切分加重排再处理。

4. 匿名访问占比上升，免费部分可能保不住

Reader 两头都碰反爬：作为抓取器要面对目标网站的反爬，作为提供免费额度的服务也要防滥用。他说他们不帮用户突破对方网站的策略，并提供很多选项帮用户合规抓取。

“大站主要是想保护数据，而小站像我们 Reader呢，主要是想想节省 IT 资源”

  • 匿名访问的比例从半年前的 20% 提高到现在的 36.9%，他说这个趋势继续下去，免费部分可能受影响。

5. 不看好 agent 按请求付费，只同意控制要放在网关

行业已有的探索包括：头部玩家让 AI 运营方在网关上统一付费、让 AI 终端用户用数字货币分散付费、其他付费网关。他说这些的意图都是让 agent 按请求付费，他个人不太看好。

“首先这个价格，我觉得渠道并不是问题，价格才是问题，因为价格是不可能低的，因为刚才提到的 AI 的访问网页，它的价格锚定就高”

  • 价格锚定高，接上一条的成本账。
  • “世界是参差的”：按发达国家网页定价、以美元计价，发展中国家跟不上；agent 上网还牵涉国际贸易，会带来别的社会问题。
  • 给钱就能抓，难防灰黑产的信息倒卖。
  • 他唯一同意的是，控制 agent 访问网页这件事务必发生在网关层。他说网关流量集中度很高，前四家占比超过 50%，几家大机构达成一致就可能改变行业格局。指哪类网关、数据从哪来没说。

6. 设想：让 agent 看广告、做可验证任务换免费访问

他把这部分定性为不成熟的想法。一是借鉴早期互联网，用广告维持免费服务，比如给 agent 一段广告语让它复述核心口播，例子是让它接"今年过节不收礼"的下半句。二是让 agent 替别人做公开数据的翻译、摘要这类任务，结果用 reranker 等模型自动验证；他说广告复述也算一种问答任务。

“就像之前的 Recaptcha 一样，你知道 Recaptcha 通过众包的形式完成了 OCR 数据的标定嘛”

  • 收尾时他希望行业重新达成一致，让人类和 agent 都能继续享受免费的互联网。

存疑

  • 0.45 的单位没说，看上下文像是每千次调用 0.45 美元，需看幻灯片。他说这个数恰好能对应大模型按百万 token 计价，换算逻辑没讲清。
  • 36.9 他没说是百分比，按上下文是；分母是请求数还是别的不清楚。
  • 自动验证用的模型，除 reranker 外另一个听到的是 Image 模型，可能是 Embedding 模型。