Codex 校核(2026-10-10):以下更正适用于本页;原采集内容保留为历史快照。

  • 论文作者是 Priyansh Trivedi 和 Olivier Schmitt(SonarSource)。研究在六对最小差异仓库、33 个任务上做了 660 次 Claude Code 试验;“未观察到通过率变化”不能写成普遍、精确的 0% 效果。7–8% token 和 34% 重访减少也只适用于该实验。论文摘要与作者

代码整洁度影响 Coding Agent 的运营成本,而非成功率

来源

核心发现

在 660 次 Claude Code 试验中,使用 minimal-pair 方法(架构、依赖、行为相同,仅代码整洁度不同的仓库对):

指标干净代码 vs 混乱代码差异
任务通过率无显著差异0%
Token 消耗减少 7-8%✅ 显著
文件重访次数减少 34%✅ 显著

结论: 代码整洁度不影响 Agent 能否完成任务,但显著影响运营成本。

方法论亮点

  • 构建了 6 对 “minimal pairs” 仓库:同一仓库的干净版 VS 混乱版
  • 正反双向构造:一部分由干净代码退化而来,另一部分由混乱代码清理而来
  • 33 个任务,通过应用的公共接口隐藏测试评估
  • 静态分析违规和认知复杂度作为”整洁度”的量化指标

对我们意味着什么

🔴 P0 — 立即行动

  1. Hermes Agent 代码库清洁: 减少技术债不仅能降低维护成本,还能直接降低 Agent 调用时的 token 消耗
  2. 代码审查标准: Code Review 不只是为了人类可读性 → 同样降低 AI 协作成本
  3. 成本模型: 在估算 Agent 驱动的开发成本时,需将代码库整洁度纳入因子
  4. 研究启发: “代码整洁度” + “模型选择” + “Harness 配置” + “Prompt 设计” 共同构成影响 Agent 行为的四维因素

引用原文

Code cleanliness does not change the agent’s pass rate. However, it substantially alters the agent’s operational footprint: agents working on cleaner code use 7 to 8% fewer tokens and reduce file revisitations by 34%.

Code cleanliness joins model choice, harness, and prompting as a factor that materially affects agent behaviours.

社区讨论要点

  • 一些评论者质疑方法论中的”自动清理”步骤可能产生不自然的干净代码
  • 但正反双向构造在一定程度上回应了这一质疑
  • 普遍共识:即使 Agent 能导航混乱代码,我们不希望人类无法维护它