LLM 成本优化与智能路由 — 专题研究

Codex 核验(2026-10-09):Databricks 原文报告的是 2026-07-08 内部任务实验。费用与模型名称保留为历史快照;当前路由仍需按实际任务、可用额度及完成质量验证,不能直接沿用本表作为现行价格。

在多 model provider 环境下,如何选择最优模型/路由策略以实现成本与质量的平衡。


方向背景

随着模型种类激增(GLM-5.2、Opus 4.8、Sonnet 5、GPT-5.5/5.6、Gemini 2.5 等),每 token 成本差异巨大且与任务质量非线性相关。简单的”最便宜模型”策略会牺牲质量,“最强模型”策略会浪费成本。需要系统性优化。


已有信号

1. Databricks Coding Agent Benchmark

来源: Databricks Blog + HN (146pts) | web-learn/2026-07-10-2009-databricks-coding-bench

核心发现:

  • GLM 5.2 + Pi harness = 1.94),成本降低 34%
  • 本次实验 Pi harness 每轮上下文约为 Claude Code 的 1/3
  • 每 token 成本 ≠ 每任务成本 — Sonnet 5 更便宜/token 但更贵/task
  • Harness 影响成本 — 同一模型换 harness 可出现超过 2 倍的成本差异;原文未证明框架影响在所有任务上都大于模型影响
  • 三个能力梯队:Top (Opus, GLM 5.2, GPT 5.5) / Mid (Sonnet 5, Gemini 2.5) / Budget

2. Frugon — Local LLM Cost Analyzer

来源: GitHub + Show HN | web-learn/2026-07-10-2015-frugon-llm-cost-analyzer

核心: 本地 LLM 成本分析工具,点算你的 OpenAI 格式 JSONL 日志,针对每个 call 比对候选模型票价,给出路由建议。

  • 成本分析 / 代理 shim 捕获 / 路由建议 / 质量可见性 / 可分享报告
  • MIT 许可,纯本地运行,零网络依赖

3. loop-cost — Loop Engineering 的 Token 花费估算

来源: Loop Engineering (⭐6.9k) | research/loop-engineering-patterns

核心: npx @cobusgreyling/loop-cost — 在 loop 工程范式中内建的成本估算工具,支持多 provider 成本预算管理。


关联信号

信号关联链接
cost-guard skill (Hermes)同方向:会话级 token 预算跟踪skill_view(name='cost-guard')
Omnigent Policy 引擎策略治理层:预算封顶、分流research/omnigent-meta-harness
model-provider-ops skill多 provider Fallback 链skill_view(name='model-provider-ops')

实战问题

  1. 多 provider 成本可见性 — 当前 Hermes 使用 OpenCode Go (DeepSeek) + Codex + Claude Code 三个 provider,但缺乏跨 provider 的成本统一视图
  2. 任务-模型匹配 — 简单问题用便宜模型,复杂问题用强模型,目前靠人肉判断
  3. Harness 影响 — 同一模型在不同 harness (Claude Code vs Pi vs Codex) 下成本差异巨大

行动建议

  • P1: 评估 Frugon 的日志分析流程能否集成到 model-provider-ops skill

  • P1: 参考 Databricks benchmark 方法论,对本系统的 model-provider 做一期成本审计

  • P2: 评估 loop-cost 作为多 provider 预算管理工具

  • P2: 参考 Pi harness 的紧凑上下文设计,评估是否优化当前 coding agent 的工作集

  • knowledge-network-map — 知识网络地图

  • knowledge-base-index — 知识体系索引