Smaller, faster, safer: running Kimi and GLM at scale

HN: 100pts/29cmt (2026-08-04) 原文: https://blog.cloudflare.com/smaller-faster-safer-models/（Agents Week 系列，8月3日，Alex Reneau / Kevin Flansburg / Chi McIsaac）

核心要点

• Cloudflare Workers AI 在边缘 GPU 上托管 Moonshot Kimi K 系列与 Z.ai GLM（大参数、长上下文 MoE 模型），内存瓶颈主要来自 KV cache 而非权重
• 三项叠加优化（不损失模型精度）：
  1. KV cache 量化 — 长上下文模型最占显存的是 KV cache，量化后单 GPU 可服务更多请求
  2. 模型权重压缩 — 配合 prefill/decode 阶段分离，把模型塞进显存
  3. 共享缓存保护 — 更多请求挤在同一硬件后，保护请求间共享的缓存（安全面）
• 全部基于 SGLang 推理框架（自称市场最佳性能），与 SGLang 团队合作向上游回馈补丁与新特性

意义

• 开源长上下文 MoE 模型的规模化部署参考：KV 量化 + 权重压缩 + 安全隔离的三件套
• SGLang 作为生产级推理框架的又一验证（与 vLLM 对比生态信号）