llmfit — 本地 LLM 硬件适配工具

Codex 核验(2026-10-10):llmfit 官方仓库 主实现是 Rust 终端工具;通过 uv/pip 分发或包装不改变主实现语言。兼容性评分、速度和可用上下文是估算,最终要以具体量化、后端和机器的实测验证。10 月 9 日 API 快照为 37,726 stars、MIT、最近推送 10 月 8 日,旧 stars 保留历史日期。

链接: https://github.com/AlexsJones/llmfit ⭐ Stars: 29,955 语言: Rust 许可证: MIT

核心功能

一个终端工具,自动检测你的硬件(RAM、CPU、GPU),为每个 LLM 模型评分(质量、速度、适配度、上下文维度),告诉你哪些模型能在你的机器上跑、跑多快。支持多 GPU、MoE 架构、动态量化选择、速度估算和多种本地运行时(Ollama、llama.cpp 等)。

特点

  • 交互式 TUI(默认)和经典 CLI 模式
  • 基准测试: 在你自己的硬件上测量真实 tok/s,贡献结果帮助社区改进估算
  • 姊妹项目: sympozium(K8s 管理 agents)、llmserve(本地模型 serve TUI)、llama-panel(macOS llama-server 管理原生应用)
  • 安装方式: Homebrew、Scoop、MacPorts、uv/pip、一键安装脚本
  • 跨平台: Windows/macOS/Linux

为什么重要

LLM 生态的碎片化问题之一:用户不知道该选哪个模型能跑在自己的硬件上。llmfit 通过自动硬件检测+评分系统解决了这个痛点,是 LLM 基础设施选型的实用工具。