KTransformers — 异构 LLM 推理/微调框架

Codex 核验（2026-10-09）：官方 README中的早期 DeepSeek-R1/V3 单 24 GB GPU 演示同时需要约 382 GB DRAM，不能理解为普通 24 GB 显存 PC 即可完整运行。现行入口已分为 kt-kernel 推理与 SFT，旧整合框架放到 archive/；08-26 增加 GLM-5.3-Flash，10-08 发布 KT-FT 预印本。上下文、量化、CPU 指令集、RAM 与速度均按具体模型/版本教程核对，本文吞吐量不是本机实测。

基本信息

• GitHub: https://github.com/kvcache-ai/ktransformers
• Stars: ⭐18,730（今日+458）
• License: MIT

简介

KTransformers 是一个研究项目，专注于通过 CPU-GPU 异构计算实现大语言模型的高效推理和微调。在消费级 GPU（24GB VRAM）上即可运行 DeepSeek-R1/V3 等大模型。

核心特性

• CPU-GPU 异构计算加速
• 支持 DeepSeek-V4-Flash、MiniMax-M3、GLM-5.2、Kimi-K2.5 等前沿模型
• 单卡 24GB VRAM 运行 671B 参数模型
• 支持微调（SFT）与 LLaMA-Factory 集成
• 支持多种量化精度（FP8、INT8、BF16 等）
• 持续 Day-0 支持最新开源模型

价值分析

对于需要本地运行大模型的场景非常有价值。特别是在消费级硬件上运行 DeepSeek 级别模型的能力。