KTransformers — 异构 LLM 推理/微调框架

Codex 核验（2026-10-09）：官方 README中的早期 DeepSeek-R1/V3 单 24 GB GPU 演示同时需要约 382 GB DRAM，不能理解为普通 24 GB 显存 PC 即可完整运行。现行入口已分为 kt-kernel 推理与 SFT，旧整合框架放到 archive/；08-26 增加 GLM-5.3-Flash，10-08 发布 KT-FT 预印本。上下文、量化、CPU 指令集、RAM 与速度均按具体模型/版本教程核对，本文吞吐量不是本机实测。

链接: https://github.com/kvcache-ai/ktransformers ⭐ Stars: 18,200+ 来源: GitHub Trending

简介

KTransformers 是一个专注于 CPU-GPU 异构计算的高效 LLM 推理与微调研究项目。核心能力：

• 在消费级硬件上运行大型 MoE 模型（如 DeepSeek-V3/R1）
• 单卡 24GB VRAM 即可运行 DeepSeek-V4-Flash
• 支持 AMX/AVX 加速的 INT4/INT8 量化推理
• MoE 专家调度优化
• 集成 SGLang、LLaMA-Factory
• 支持 Ascend NPU、Intel Arc GPU、AMD ROCm

关联

• 同类: llama.cpp, vLLM, Ollama
• DeepSeek 模型推理优化