据作者现场录音整理，按讲者脉络转述，不是逐字稿。讲者是无界方舟 AutoArk CTO，中文演讲，约 20 分钟，无问答环节。这是一场带产品发布性质的公司分享，下文的性能数字都是讲者自报，没有第三方对照。

一句话

智能硬件靠调云端 API 会"卖得越多赔得越多"，而模型变小、芯片带 NPU 之后，按设备算力分三档把模型放到端上已经可行；他们用 MoE 加专家参数预加载把 35B 模型塞进 iPhone 的 2G 内存，并用"端侧意图分流、只有开放问答才上云"的链路，在耳机上省掉 92% 以上的 token 成本。

论断

1. 全靠云端 API，越卖越赔

成本是他第一个讲、讲得最细的一条。他用"年销量乘日交互次数乘公开 token 价"估算云端方案的年成本。

“我们的产品销量越高，我们反而越赔钱，这是现在很多做 AI 应用公司所面临的一个困境”

  • 年销 100 万台、每用户每天交互 20 次，年成本"可以轻松达到 10 亿元"。依据是公开的大厂 API token 价，没给单价，没说是音频还是文本模型，也没说单次交互多少 token。
  • 云端方案另外两个缺点：断网弱网不可用；医疗、投资、法律这些场景，调用云端 API 意味着数据会传给模型提供方。
  • 端侧的四个好处：毫秒级响应、无网可用（高铁、飞机、电梯）、数据不出域、零 token 成本。

2. 端侧可行了，但工程成本在碎片化平台

两条趋势让端侧可行：1B 到 7B 的模型持续进步，他说已接近前几年旗舰大模型的水平；芯片 NPU 算力从零点几 TOPS 涨到 1、10 TOPS，甚至几百几千 TOPS。他也说端侧"不完全是免费的"，硬件受内存、电量、续航限制。

“每一个平台，每一个编程语言，都需要重新去写这个端侧模型的部署逻辑，对于工程化来说是极大的一个成本”

  • 云端只需适配 NVIDIA CUDA 或华为这类国产卡生态；端侧要面对 FreeRTOS、ARM Linux、ESP32、iOS、Android。
  • “前几年旗舰大模型"没说是哪个，也没给基准。

3. 按算力把硬件分三档

他把硬件按算力和资源分成小、中、大三档，每档对应不同场景和模型尺寸。他认为绝大多数公司还停在理论和 demo 阶段，部分公司开始触及大算力设备的端侧模型。

档位设备主打场景他们给的东西
小算力智能眼镜、耳机、小型 AI 陪伴机器人实时音视频交互、简单指令ASR、TTS 等音视频模型，最小 0.1B；EvaSDK
中算力手机、平板personal agent、手机智能体开源 35B MoE 语言模型和开源推理引擎
大算力带独显的 Windows 笔记本、MacBook Pro、Mac mini、Mac Studio、台式机vibe coding、视频制作、computer use即将开源的 150B MoE 多模态模型
  • 小算力档的音频模型最小 0.1B，他说效果能达到云端模型水平，没给具体对照。现场放了 TTS 情感合成样例。
  • 他说全双工、可打断的对话链路本身就是很大的工程成本。EvaSDK 打包了 3A 算法（降噪、回声消除、人声增强）、全双工对话链路和端侧模型，覆盖 ESP32、Linux、iOS、Android、Windows、Mac。
  • “全开源"这个词全场说了至少五次。

4. 用 agent skill 接入 SDK

他们给 AI 编程工具提供 agent skill，一行命令装进 Claude Code、Codex 等工具，由 agent 完成 SDK 接入。这一点他只提了一句。

“大家只需要通过一行命令，就可以快速的把我们的 skill 安装到你所喜欢的 vibe coding 的工具里面去”

5. 35B MoE 在 iPhone 上跑，靠专家参数预加载

他说在 iPhone 16 Pro 上以最高 2G 内存跑起了 35B 的 MoE 模型。演示是真机录屏，开着飞行模式，“不做任何加速”，演示了多语言。他称模型能做工作流、phone use、computer use 和工具调用，智能水平远超端侧 4B、8B、10B 级模型，没给基准分数。

“我们在做每一次推理的时候呢，其实我们真正所激活的参数只有 3% 到10%”

他讲的机制分三步：

  • MoE 每次只激活 3% 到 10% 的参数，只把活跃参数放内存，突破内存墙。
  • 相邻 token 用到的专家可能完全不同，每次从 SSD 现读，“有可能会达到好几秒吐一个token”。
  • 接一个预训练的预加载模块，预测后几个 token 需要的专家，后台异步加载进内存，他说解码速度有数量级的提升。

没给预测命中率、实际 tokens/s、上下文长度、量化精度、发热和耗电。推理引擎开源，iOS、Android、Windows、Mac 都有 app，可离线用。

6. 端云分流：耳机案例省 92% 以上 token 成本

和韶音合作的 AI 运动耳机，产品侧先看用户实际问什么，PPT 上放了一张按频次排的词云。

“其实大部分用户他们在问问题的时候呢，他的意图都局限在切歌、调整音量、查询我的心率、查询我的步频等等这些需求”

  • 链路：端侧 3A、VAD、端侧 ASR、端侧意图分类。简单意图（查心率）全程在端侧完成，无网也能用；开放式问答（肌肉乳酸堆积怎么办、今年马拉松健将有哪些）才调云端。
  • 他说"实现了高于 92% 的 token 成本的降低”，没明说和什么比，也没给日活、请求量或绝对金额。

7. 首次发布 150B 端侧多模态模型预览

这是本场唯一的新发布：即将开源的 150B 端侧 MoE 多模态模型，最低 18 到 24G 内存占用，目标场景是开发者在本机跑编码 agent、省 token 费。

“能够实现最高，轻松实现超过 1000 的 prefill 的 token 的每秒速度和超过 100 的解码速度”

  • 可做视频制作、软件开发、用 computer use 调 Blender 做 3D 建模。
  • 他说智能水平接近 Flash 类模型，没说是哪家哪一代；速度没说测试硬件、量化和上下文长度。

8. 其他自报数据

  • 音频模型在某开源社区榜单拿到第一，多次登上 Hugging Face trending 榜和首页推荐。
  • 开源引擎下载量超过 1500 万次，没说统计口径和时间段。

存疑

  • 预加载模块的英文名没听清，他解释为"参数的预加载技术”，原词疑为 pre-loader 一类。
  • 150B 多模态模型的名字、音频模型拿第一的榜单名、GitHub 与 Hugging Face 的搜索关键词都没听清，需对照幻灯片。
  • “以最高 2G 的内存"里的"最高"也可能是"最低”，按语义是峰值内存占用 2G。
  • “年 10 亿元"没给计算口径。