Codex 校核(2026-10-10):以下更正适用于本页;原采集内容保留为历史快照。
- 论文作者是 Priyansh Trivedi 和 Olivier Schmitt(SonarSource)。研究在六对最小差异仓库、33 个任务上做了 660 次 Claude Code 试验;“未观察到通过率变化”不能写成普遍、精确的 0% 效果。7–8% token 和 34% 重访减少也只适用于该实验。论文摘要与作者
代码整洁度影响 Coding Agent 的运营成本,而非成功率
来源
- arxiv: 2605.20049 — “Does Code Cleanliness Affect Coding Agents? A Controlled Minimal-Pair Study”
- HN: https://news.ycombinator.com/item?id=48798815 (55 pts, 9 comments)
- 作者: Priyansh Trivedi
- 日期: 2026/05/19
核心发现
在 660 次 Claude Code 试验中,使用 minimal-pair 方法(架构、依赖、行为相同,仅代码整洁度不同的仓库对):
| 指标 | 干净代码 vs 混乱代码 | 差异 |
|---|---|---|
| 任务通过率 | 无显著差异 | 0% |
| Token 消耗 | 减少 7-8% | ✅ 显著 |
| 文件重访次数 | 减少 34% | ✅ 显著 |
结论: 代码整洁度不影响 Agent 能否完成任务,但显著影响运营成本。
方法论亮点
- 构建了 6 对 “minimal pairs” 仓库:同一仓库的干净版 VS 混乱版
- 正反双向构造:一部分由干净代码退化而来,另一部分由混乱代码清理而来
- 33 个任务,通过应用的公共接口隐藏测试评估
- 静态分析违规和认知复杂度作为”整洁度”的量化指标
对我们意味着什么
🔴 P0 — 立即行动
- Hermes Agent 代码库清洁: 减少技术债不仅能降低维护成本,还能直接降低 Agent 调用时的 token 消耗
- 代码审查标准: Code Review 不只是为了人类可读性 → 同样降低 AI 协作成本
- 成本模型: 在估算 Agent 驱动的开发成本时,需将代码库整洁度纳入因子
- 研究启发: “代码整洁度” + “模型选择” + “Harness 配置” + “Prompt 设计” 共同构成影响 Agent 行为的四维因素
引用原文
Code cleanliness does not change the agent’s pass rate. However, it substantially alters the agent’s operational footprint: agents working on cleaner code use 7 to 8% fewer tokens and reduce file revisitations by 34%.
Code cleanliness joins model choice, harness, and prompting as a factor that materially affects agent behaviours.
社区讨论要点
- 一些评论者质疑方法论中的”自动清理”步骤可能产生不自然的干净代码
- 但正反双向构造在一定程度上回应了这一质疑
- 普遍共识:即使 Agent 能导航混乱代码,我们不希望人类无法维护它