Codex 校核（2026-10-09） 项目当前 README明确 8.24GB 是特定试验的进程峰值 RSS；磁盘仍需约 1.7TB（1.56TB 检查点及约 109GB trunk），依靠读取与缓存降低常驻内存。675倍是 bf16 全量字节数与实测 RSS 的跨口径比值，不能解读为整个模型已无损压缩至 8.24GB。逐字节一致是作者对同一 MXFP4 检查点、特定短提示/实现路径的测试结果，不等于任意输入都与 bf16 全精度等价。当前 README 的速度表是在一台 124核心、快速 NVMe 机器上按内存预算模拟；“普通笔记本”并非实际笔记本整机性能测量。

kimi-k3-in-c — 2.78T 参数 MoE 在单 CPU 8.24GB 上逐字节一致推理

信号: 队列 40d09c755ed5，收集时 247⭐ → ~1.2k⭐（24h 内 5×，176 forks），Kimi K3 day-0 社区推理引擎。

核心: 便携 C99（无 BLAS/框架/GPU，引擎 176KB，仅 libm+OpenMP）在单 CPU 8.24GB 峰值 RSS 跑 2.78T Kimi K3 推理。laptop preset ~32.7 s/token，server preset ~10.7 s/token。

四层削减（合计 675× vs bf16，输出逐字节一致）:

1. 5,560GB bf16 全量 → 1,560GB 官方 MXFP4 打包（0.53125B/参数 = 4-bit + 1/32B 共享 E8M0 scale）
2. → 113.49GB 常驻集（dense trunk 108.81GB + embedding 4.70GB；82,432 个 routed experts 占 93%，每 token 仅激活 16/896）
3. → 8.24GB 实测（trunk 流式）

关键技术:

• KDA（Kimi Delta Attention）：69/93 层固定 128×128 状态/头，内存不随上下文增长（全模型 626.25MB 封顶）；short conv(宽4,SiLU) → q/k L2 归一 → 逐头 decay gate(alpha∈[e^-5,1]) → delta rule 秩1更新
• O_DIRECT(3.2GB/s) > buffered(2.3GB/s) → trunk 绕过页缓存；-ffp-contract=off 保证三路径逐位一致；仅需 AVX2+FMA
• 专家 LRU：串行预留 → 按磁盘偏移并行 pread → 只发布成功者；INFLIGHT slot 不可抢占
• 验证纪律：weightless tests、13 层 oracle 三 GATE 对照 PyTorch、96 shard 逐片字节校验、100,096 次请求 trace 重放
• 路由不变量：bias 只影响选择、权重用无偏分数；LatentMoE RMSNorm 在聚合输出上

对 Hermes 的价值: Kimi K3 监控线增加”社区独立推理引擎”信号；MXFP4+流式专家+LRU = 大模型小内存标准范式；验证纪律（weightless/byte-exact/oracle）是工程实践模板。