AirLLM — 单卡 4GB 运行 70B 大模型

Codex 核验（2026-10-09）：当前上游已列 AirLLM v3 后续模型支持；其低 GPU 显存来自逐层加载和卸载，仍需足够主机内存、权重缓存磁盘及 I/O。压缩选项包含权重量化，低显存不等于低总资源或无精度损失。本文 70B/671B 显存数字是作者场景报告，本机未复现。

链接: https://github.com/lyogavin/airllm ⭐ Stars: 23,500+ 来源: GitHub Trending

简介

AirLLM 大幅降低了推理内存需求，让 70B 大模型在单张 4GB GPU 上运行——无需量化、蒸馏或剪枝。v3.0 版本支持：

• DeepSeek-V3 (671B) 在 ~12GB 上运行
• Qwen3-235B 在 ~3GB 上运行
• 支持 FP8 模型、Qwen3、Llama 3.x/4、DeepSeek V2/V3、Phi-4、Gemma 等
• 单 AutoModel API 即可使用

关联

• 同类: llama.cpp (GGUF), KTransformers
• 边缘推理/消费级硬件推理