Bonsai 27B — 对 Alaya 的意义
Codex 核验（2026-10-09）：官方模型卡当前说明：1-bit 的 3.9GB 是语言权重占用，MLX 包磁盘为 5.13GB；实际 4K 上下文峰值约 5.2–5.9GB，100K 无 KV 压缩约 11.6–12.2GB。作者的 15 项基准平均保留率为二元 89.5%、三元 94.6%，不能解读为每项任务或所有手机的保证。本机尚未实测，运行还需对应低位内核、KV cache 和额外组件预算。
PrismML 发布的 Bonsai 27B，首个能在手机上运行的 27B 模型。
关键数据
| 变体 | 大小 | 精度 |
|---|---|---|
| Ternary | 5.9GB | 1.71bit |
| 1-bit | 3.9GB | 1.125bit |
- 保留 90-95% 基础性能
- Apache 2.0 开源
- 262K 上下文窗口
对 WSL 的意义
27B 模型能在手机上运行 → 意味着在 WSL 笔记本上也能跑本地推理。 当前全靠 opencode-go 在线 API，如果 Bonsai 能在本地跑：
- 低优先级任务可以走本地，省 API 额度
- 离线也能工作
- 隐私数据不经过外部 API
跟踪
- 状态：已发布，待实测
- 等 PrismML 放出权重和推理代码
- 到时可在 tools-venv 或独立环境部署
链接
- 来源: web-learn/2026-07-15-1209
- 状态: 跟踪中