Bonsai Demo

来源: GitHub Trending (1,584 ⭐)
链接: https://github.com/PrismML-Eng/Bonsai-demo
Stars: 1,584
类型: 大模型 / 量化推理

PrismML 的 Bonsai 系列语言模型演示仓库。Bonsai 27B 是新品——支持视觉理解（图片/截图/PDF）、Agentic tool calling（原生OpenAI风格tool_calls + MCP支持）、思维链推理、256K+长上下文。采用1-bit和三元量化，Bonsai-27B 1-bit版本仅~1.125 bits/weight，可运行在手机上。