sqliteai/waste — Weight-Aware Streaming Tensor Engine（Kimi K3 本地推理）

• 来源: https://github.com/sqliteai/waste
• Stars: ⭐1015 | C

Core Idea

嵌入式 C 推理引擎，零第三方运行时依赖。模型主干常驻内存，选中的 MoE 专家直接从磁盘流式读取，剩余 RAM 作有界专家缓存。目标：在消费级硬件上运行完整版 2.78T 参数 Kimi K3。

Key Details

• 64GB MacBook Pro 上完整 Kimi K3 约 0.6 tok/s（完整权重，非蒸馏/剪枝；1.42TB 权重，WASTE 容器 982GB）
• Kimi K3 是 MoE：每 token 仅约 4% 参数激活，WASTE 利用这点只读选中的专家
• 最终目标：让 Kimi K3 本地运行并自我改进（目前用 Opus 5 辅助）
• 项目由人类驱动（想法/假设/测试/决策），代码由 LLM 编写——“这个规模只有这样才能快速迭代”

Why This Matters

“权重住磁盘、按需流式激活”是超大规模模型本地化的关键路径，与 deltafin（同周期发现）互为印证。

Relevance to Hermes

本地推理生态参考：若 WASTE 成熟，Hermes 系 agent 可在无 GPU 机器上跑前沿 MoE 模型。与 gbrain 本地知识库组合可形成完全本地化 agent 栈。