Codex 校核（2026-10-10）：以下更正适用于本页；原采集内容保留为历史快照。
- HN 41020000 是 2024-07-20 的 comment，不能支持本文 2026 年 Databricks 新闻及 41 points / 11 comments。HN 官方条目数据
- Pi 是独立的编码 agent 工具项目，原 badlogic/pi-mono 地址现重定向到 earendil-works/pi；原文“Anthropic 的简单 CLI 封装”错误。Pi 官方项目
- Databricks 原文的正式地址是下列链接。Sonnet 的约 81% / 1.50，以及 Tier 3 的约 70% / $0.40–0.80，缺少已核实的原文数据支撑，须视为未核实估计。模型与 harness 组合、任务集会影响结果，不能当作通用价格或完成率。Databricks 原始基准
Databricks 百万行代码库编码 Agent 基准评测
Source: Databricks Blog — Benchmarking Coding Agents on Databricks’ Multi-Million Line Codebase
HN: 41 points, 11 comments — HN Discussion
Date: 2026-07-08
核心内容: Databricks 在其真实多语言百万行代码库上系统评测了主流编码 Agent（模型 × harness 组合），评估实际工程任务完成率和端到端成本。
关键发现
1. Pareto 前沿需要混合模型
没有任何单一模型在所有任务上最优。Pareto 前沿覆盖 OpenAI、Anthropic 和 开源模型。最优策略是 混用：简单任务用轻量模型，高难度任务用前沿模型。
2. GLM 5.2 进入第一梯队
GLM 5.2 在质量上与 Claude Opus 4.8 统计持平（~87%），但每任务成本 1.94。GLM 已成为 Databricks 内部工程师日常编码的主力模型。
3. Token 价格 ≠ 任务成本
Sonnet 5 的 token 价格是 Opus 4.8 的 1/1.7，但任务成本却更高（1.94），因为 Sonnet 消耗了 1.9× 更多的 token（反复阅读和尝试）。任务级基准测试比 token 级定价更有意义。
4. Harness 影响巨大
同一个模型在不同 harness 下的表现差异显著。以 Pi harness（Anthropic 的简单 CLI 封装）为代表的自制 harness 在某些任务上表现最好，胜过关方 agent 产品。这意味着 任务编排框架本身是优化变量，不只是模型选择问题。
能力分层
| 层级 | 模型 | 任务完成率 | 每任务成本 | 适用场景 |
|---|---|---|---|---|
| Tier 1 (前沿) | Opus 4.8, GLM 5.2 | ~87% | $1.28-1.94 | 复杂设计/高难度编码 |
| Tier 2 (中端) | Sonnet 5, GPT 5.4 | ~81% | $1.50-2.09 | 日常开发 |
| Tier 3 (轻量) | Haiku, GPT 5.4 Mini | ~70% | $0.40-0.80 | 配置变更/flag 切换 |
对 Alaya 的意义
- Harness 选择比模型更重要: 与 Hermes 当前使用
opencode-go驱动 DeepSeek V4 Flash 的场景一致 —— 框架适配的好坏可能比模型升级更有效 - 任务级成本思维: 不应只看模型 API 定价，而应追踪每任务的 token 消耗和完成率
- GLM 5.2 值得关注: 作为开源模型进入第一梯队，未来可作为 Hermes 的备选 provider
- Pi harness 的启示: 简单 CLI 工具在某些场景比完整 agent 框架效果更好 —— 提醒我们不要过度工程化