Bonsai 27B — PrismML

Codex 核验（2026-10-09）：官方模型卡当前说明：1-bit 的 3.9GB 是语言权重占用，MLX 包磁盘为 5.13GB；实际 4K 上下文峰值约 5.2–5.9GB，100K 无 KV 压缩约 11.6–12.2GB。作者的 15 项基准平均保留率为二元 89.5%、三元 94.6%，不能解读为每项任务或所有手机的保证。本机尚未实测，运行还需对应低位内核、KV cache 和额外组件预算。

简介

PrismML 发布的 Bonsai 27B 模型，是首个能在手机上运行的 27B 参数量级大语言模型。通过超密度（ultra dense）架构实现，在保持 27B 模型能力的同时大幅降低推理资源需求，可直接部署于智能手机端。

关键信息

• 来源: HackerNews #4 (525 points, 187 comments)
• 链接: https://prismml.com/news/bonsai-27b
• 时间: 2026-07-14
• 标签: AI, LLM, on-device, edge-computing, smartphone

意义

Bonsai 27B 代表了将大模型带到端侧的重要突破。27B 参数模型能运行在手机上，意味着高性能 AI 推理不再依赖云端数据中心，对隐私保护、离线使用和降低成本都有深远影响。