Codex 校核（2026-10-09） DwarfStar 当前 README明确 ds4.c 不链接 GGML，而是借鉴 llama.cpp/GGML 路径，并保留或改编部分量化布局、CPU逻辑和内核；下文“基于 llama.cpp/GGML”应按此理解，不能当作通用 llama.cpp 封装。目前支持清单还包含 DeepSeek V4.1 Flash、GLM 5.3／5.3 Flash、Qwen3.8 Flash Next；不同后端与文本／视觉支持范围并不相同，且项目明确 beta、模型可能替换。当前报告八张 L40S、16个会话约126 t/s聚合生成，是作者设置下的测量。下文“vLLM已不支持Ada老卡”过于宽泛：vLLM 当前 CUDA 要求为 compute capability 7.5+，某模型或内核要求更新GPU不能推导为整个 vLLM 不支持 Ada。原性能数字保留八月快照，未经本次复现。

DwarfStar (antirez/ds4) — DeepSeek V4 Flash 原生推理引擎

来源: https://github.com/antirez/ds4（GitHub Trending 今日，⭐19,864）

核心思路

Redis 作者 antirez 出品的小型原生推理引擎，优先优化 DeepSeek V4 Flash，也支持 GLM 5.2 和（高内存机器上）DeepSeek V4 PRO。自包含且刻意收窄——不是通用 GGUF runner，模型加载/提示渲染/工具调用/KV 状态/HTTP 服务器/编码 agent 一体化构建测试。基于 llama.cpp/GGML。

关键能力

• 后端：Metal（主目标，Mac 96GB+，小内存可 SSD 流式）、NVIDIA CUDA（多 GPU、DGX Spark）、ROCm（Strix Halo / Framework Desktop）
• 8×L40S 实测：120 t/s 聚合生成、2000 t/s prefill，可做公司多用户 LLM 服务器（vLLM 已不支持的 Ada 老卡）
• 双 MacBook M5 Max / M3 Ultra RDMA：4-bit DeepSeek Flash 或 GLM 5.2 张量并行
• 流水线并行可拼多机 RAM 跑更大模型
• DeepSeek V4 Flash/PRO、GLM 5.2 容忍激进的路由专家量化；压缩 KV cache + 快速本地 SSD 让长上下文实用化

为什么重要

DeepSeek V4 Flash 时代”消费级硬件跑前沿模型”的标志性项目：128GB 笔记本 / 512GB 工作站为目标机型。与 Swiftlet、kimi-k3-in-c、colibri（GLM-5.2 744B 25GB 消费级）构成本地推理新浪潮。

与 Hermes 的关联

本地推理能力图谱重要节点；opencode-go/ds4f provider 依赖 DeepSeek 生态，此引擎可作未来本地 fallback 参考。