2026-10-10 补充校核:39% F1 属于 Semgrep 特定 IDOR 数据集与 prompt/harness 配置;文章摘要和配置表的比较数字不同,不能合成统一排名。费用也是该作者测试口径,并非当前账户调用价格。 1
Signal 1: Tokenmaxxing is dead, long live Tokenmaxxing
来源: HN #48708795 (63pts, 18评论)
文章: https://12gramsofcarbon.com/p/agentics-tech-things-tokenmaxxing
Tokenmaxxing(无节制消耗 LLM tokens)经历了诞生→死亡→重生的周期。最初是管理层强制员工”用起来”的手段,而非真正有生产力的策略。随着 ROI 压力增加一度被认为”死了”,但管理层看到 AI 潜力后又重生。
HN 社区指出这是企业”hot topic 周期律”的一部分(metaverse → blockchain → AI),并警告 brute force tokens 不能解决 comprehension 和 liability 的根本问题。
对 Hermes 的启发: token 管理应设成本护栏而非完全限制,关注 token 效率与价值的辩证关系。
Signal 2: Semgrep GLM 5.2 beats Claude in Cyber Benchmarks
来源: HN #48709670 (31pts)
文章: https://semgrep.dev/blog/2026/we-have-mythos-at-home-glm-52-beats-claude-in-our-cyber-benchmarks/
Semgrep 在 IDOR 检测基准上测试模型: **GLM 5.2(智谱 AI,开源权重)**以纯 prompt 配置获 39% F1,文章摘要的比较值为32%;下表另列37%/28%,口径不能直接混用,成本约 $0.17/漏洞。GLM 5.2 是 750B MoE / 40B 激活 / 1M context 的模型。
| 配置 | F1 |
|---|---|
| Semgrep Multimodal (GPT 5.5) | 61% |
| GLM 5.2 (prompt only) | 39% |
| Claude Code (Opus 4.6) | 37% |
| Claude Code (Opus 4.8/4.7) | 28% |
关键引文: “Open-weight models have crossed a threshold worth watching. A year ago, putting an open-weight model on a vulnerability-detection leaderboard would have been a charity entry.”
GLM 5.2 在 SWE-bench Pro 上 62.1%(逼近闭源),Terminal-Bench 2.1 上 81.0(vs Opus 4.8 的 85.0)。原文关于 reward-hacking 的断言没有足够证据;Semgrep 后续复核强调检出结果 grounded,不能仅凭分数差异推断刷榜。
对 Hermes 的启发: GLM 5.2 是值得关注的替代模型——开源权重 + 低成本 + 强编码能力。Semgrep 的方法论(区分 model vs harness)值得 Hermes Agent 借鉴。