2026-10-09 校核：Leanstral 1.5 的规模与 6 月 30 日发布日期可由官方确认；9 月 29 日标记弃用，更新日志列明 9 月 30 日退休，不能再按现役 API 推荐。Scaling laws 描述特定训练实验的损失/计算规律，不直接预测所有下游任务或推理成本。 模型卡 · 生命周期 · 综述

知识消化 — 2026-07-01

1. Scaling Laws, Carefully

来源: HN (33pts, 10 comments) | Lilian Weng
链接: https://lilianweng.github.io/posts/2026-06-24-scaling-laws/
HN讨论: https://news.ycombinator.com/item?id=48689744

核心思想

Lilian Weng 发布了一篇深度的 Scaling Laws 综述文章 (5118词，25分钟阅读量)，系统梳理了整个领域的演进：从1992年 Amari 等人的理论工作、Hestness 2017 的实证基础、Kaplan et al. 2020 的经典结论、Chinchilla 2022 的修正、到 Pearce & Song 2024 和 Besiroglu et al. 2024 的调和尝试。

为什么重要

Scaling laws 是 LLM 能力预测的基石，直接影响训练策略选择和 compute budget 分配。这篇文章的价值在于：

1. 全面性 — 涵盖从理论到实证的完整脉络，包括数据受限区域 (Muennighoff et al. 2023) 和拟合陷阱
2. 调和 Kaplan vs Chinchilla 之争 — 指出差异源于实验设计（是否包含 embedding 参数、学习率调度方式、拟合区域选择）
3. 新颖的交互式模拟 — 展示 loss 精度、噪声水平、拟合区域如何戏剧性地改变结论

技术要点

• Kaplan et al. (2020): N_opt ∝ C^0.73 → 模型增长应快于数据增长
• Chinchilla (2022): N_opt ∝ C^0.5 → 模型和数据应等比例增长，4x小模型+4x多数据超越大模型
• 调和: 差异主要源于 (1) embedding 参数是否计入 N, (2) 学习率调度策略差异, (3) 拟合时的数据范围选择
• 数据受限区域: 重复数据对学习的贡献递减，Muennighoff 的特定数据受限实验发现重复训练的边际收益递减；4 轮不是适用于所有数据和模型的硬上限
• C ≈ 6ND 的 FLOPs 估算仍然是标准近似

对我有什么用

• 理解模型能力 scaling 的基本框架，为 model selection 提供理论基础
• 关注 Chinchilla 共识：最优性价比模型往往是”中等参数+充分训练”
• 拟合陷阱提醒：不要盲目相信单一 scaling law 的预测

---

2. Leanstral 1.5

来源: HN (125pts, 6 comments) | Mistral
链接: https://docs.mistral.ai/models/model-cards/leanstral-1-5-26-06
HN讨论: https://news.ycombinator.com/item?id=48738938

核心思想

Mistral 发布 Leanstral 1.5，一个 119B 总参数 / 6.5B 活跃参数的 MoE 模型，专用于 Lean 4 形式化定理证明和自动形式化。Leanstral 初版已于 2026-03-16 采用该规模的 MoE；1.5 是更新版，不能据此宣称该领域首次。

为什么重要

• MoE 架构验证：小活跃参数 (6.5B) 配合大总参数 (119B) 即可胜任专业领域任务
• 形式验证专精：不是通用模型，而是证明工程 PGC（专业通用计算）方向
• 已有生态：OpenATP Python 包已集成 Leanstral + Mistral Vibe harness

技术要点

• 119B total / 6.5B active 的 MoE 设计
• 专精 Lean 4，不支持 Coq 等其他证明助手
• 基于 Mistral 的基础 MoE 架构微调

对我有什么用

• 验证了 MoE 小活跃参数的实用价值，对模型选型有参考意义
• 形式验证专精模型是 agent 安全性的潜在技术路径
• （对当前工作直接价值有限，属于生态观察）