Swiftlet — MoE 流式推理运行时（iPhone 跑 35B）

来源: https://github.com/leonickson1/Swiftlet（HN 230pts，2026-08-04/05 头条）

核心思路

Swift + Metal 实现的 Qwen3-Next / Qwen3.5/3.6 MoE 混合模型推理运行时。只把模型的小稠密核心常驻内存，按需从存储流式加载被路由的 MoE 专家权重。App Store 已上架（Priv AI）。

关键数据

• Qwen3.6-35B-A3B 4-bit：磁盘 18GB，峰值 RAM 2.6GB，M5 Mac 解码 7-11 tok/s
• Qwen3-Next-80B-A3B 4-bit：磁盘 42GB，峰值 RAM 4.3GB，M5 Mac 解码 4.5-5 tok/s
• 35B 可在 iPhone 17 上跑（约 2.5GB RAM，~1 tok/s）
• 每 token 仅激活 ~3B 参数：聊天/写作像大模型，事实回忆像小模型（README 如实声明）

为什么重要

继 ANEMLL 在 iPhone 17 Pro 上演示 397B MoE 流式之后，Swiftlet 把这类模型做成普通 iPhone 可安装的 app，开放运行时。低内存 MoE 流式推理是本地 AI 的主流路径之一，与 kimi-k3-in-c（单 CPU 流式专家）、DwarfStar（SSD 流式）同赛道。

与 Hermes 的关联

本地推理生态信号：低内存设备跑大模型的可行性持续提升，对未来边缘 agent 部署有意义。