LLM 成本优化与智能路由 — 专题研究
Codex 核验(2026-10-09):Databricks 原文报告的是 2026-07-08 内部任务实验。费用与模型名称保留为历史快照;当前路由仍需按实际任务、可用额度及完成质量验证,不能直接沿用本表作为现行价格。
在多 model provider 环境下,如何选择最优模型/路由策略以实现成本与质量的平衡。
方向背景
随着模型种类激增(GLM-5.2、Opus 4.8、Sonnet 5、GPT-5.5/5.6、Gemini 2.5 等),每 token 成本差异巨大且与任务质量非线性相关。简单的”最便宜模型”策略会牺牲质量,“最强模型”策略会浪费成本。需要系统性优化。
已有信号
1. Databricks Coding Agent Benchmark
来源: Databricks Blog + HN (146pts) | web-learn/2026-07-10-2009-databricks-coding-bench
核心发现:
- GLM 5.2 + Pi harness = 1.94),成本降低 34%
- 本次实验 Pi harness 每轮上下文约为 Claude Code 的 1/3
- 每 token 成本 ≠ 每任务成本 — Sonnet 5 更便宜/token 但更贵/task
- Harness 影响成本 — 同一模型换 harness 可出现超过 2 倍的成本差异;原文未证明框架影响在所有任务上都大于模型影响
- 三个能力梯队:Top (Opus, GLM 5.2, GPT 5.5) / Mid (Sonnet 5, Gemini 2.5) / Budget
2. Frugon — Local LLM Cost Analyzer
来源: GitHub + Show HN | web-learn/2026-07-10-2015-frugon-llm-cost-analyzer
核心: 本地 LLM 成本分析工具,点算你的 OpenAI 格式 JSONL 日志,针对每个 call 比对候选模型票价,给出路由建议。
- 成本分析 / 代理 shim 捕获 / 路由建议 / 质量可见性 / 可分享报告
- MIT 许可,纯本地运行,零网络依赖
3. loop-cost — Loop Engineering 的 Token 花费估算
来源: Loop Engineering (⭐6.9k) | research/loop-engineering-patterns
核心: npx @cobusgreyling/loop-cost — 在 loop 工程范式中内建的成本估算工具,支持多 provider 成本预算管理。
关联信号
| 信号 | 关联 | 链接 |
|---|---|---|
| cost-guard skill (Hermes) | 同方向:会话级 token 预算跟踪 | skill_view(name='cost-guard') |
| Omnigent Policy 引擎 | 策略治理层:预算封顶、分流 | research/omnigent-meta-harness |
| model-provider-ops skill | 多 provider Fallback 链 | skill_view(name='model-provider-ops') |
- databricks-coding-bench-pi — Pi Harness 基准数据
- frugon-llm-cost-analyzer — Frugon 成本分析工具
- local-models-available-2026 — 本地模型成本优势
- mcp-a2a-enterprise-gateways — 企业网关的路由能力
- shadcn-improve-pattern — 成本优化的分层执行策略
实战问题
- 多 provider 成本可见性 — 当前 Hermes 使用 OpenCode Go (DeepSeek) + Codex + Claude Code 三个 provider,但缺乏跨 provider 的成本统一视图
- 任务-模型匹配 — 简单问题用便宜模型,复杂问题用强模型,目前靠人肉判断
- Harness 影响 — 同一模型在不同 harness (Claude Code vs Pi vs Codex) 下成本差异巨大
行动建议
-
P1: 评估 Frugon 的日志分析流程能否集成到
model-provider-opsskill -
P1: 参考 Databricks benchmark 方法论,对本系统的 model-provider 做一期成本审计
-
P2: 评估 loop-cost 作为多 provider 预算管理工具
-
P2: 参考 Pi harness 的紧凑上下文设计,评估是否优化当前 coding agent 的工作集
-
knowledge-network-map — 知识网络地图
-
knowledge-base-index — 知识体系索引