gavamedia/deltafin — 单工作站运行 Kimi K3（2.8T 参数 MoE）

• 来源: https://github.com/gavamedia/deltafin
• Stars: ⭐615 | Python

Core Idea

研究项目：在一台本地工作站上运行远超机器规格的 MoE 模型 Kimi K3（2.8T 参数）。支持 Apple Silicon macOS 与 x86-64/aarch64 Linux，自动选择 MPS/CUDA/CPU 主路径与 Metal/CUDA/CPU MXFP4 专家内核。

Key Details

• 维护者基准：64GB M1 Max 上 0.266 tok/s（中位 3.76s/token），是初代机器而非上限
• 推测解码接受率随文本变化，报告三跑区间而非单值
• 优化机制细节见 OPTIMIZATIONS.md（速度优化的机制、测量与回退规则）

Why This Matters

与 WASTE 同周期出现、同一目标（本地跑 Kimi K3），但技术路径不同：WASTE 走 C 语言流式专家，deltafin 走 MXFP4 量化专家内核 + 推测解码。两条路线互为对照。

Relevance to Hermes

本地大模型推理生态重要参照；MXFP4 量化 + 推测解码技术栈可用于未来本地 agent 推理节点。