知识消化 — 2026-07-10 16:00
信号 1: colibri — Run GLM-5.2 (744B MoE) on 25GB consumer machine
来源: HN (420pts, 109cmts) + GitHub (JustVugg/colibri) 链接: HN讨论 | GitHub
核心思想
colibrì 是一个纯 C 实现的推理引擎，可以让 744B 参数的 GLM-5.2 (Mixture-of-Experts) 模型 在仅 25GB RAM 的消费级机器上运行。关键技术：将 21,504 个 routed experts（共 ~370GB int4）存储在磁盘上，每个 token 只从磁盘流式加载需要的 expert（~40B 激活参数）。
为什么重要
- 消费级硬件跑前沿模型 — 744B MoE 模型在 25GB RAM + NVMe 上运行，证明了”disk-as-RAM”的可行性
- 纯 C 零依赖 — 运行时无 Python、无 GPU、无 BLAS，单一 C 文件 (~1300行) + 小头文件
- MLA 压缩 KV-cache — 576 floats/token 替代 32,768 (57x 缩小)，使得长上下文成为可能
- MTP 投机解码 — GLM-5.2 的多 token 预测头可实现 2.2-2.8 tok/forward 的投机解码
技术要点
| 方面 | 细节 |
|---|---|
| 模型 | GLM-5.2, 744B MoE, int4 量化 |
| 常驻 RAM | ~9.9 GB (dense 部分) |
| 磁盘占用 | ~370 GB (int4 容器) |
| 推理速度 | WSL2: 0.05-0.1 tok/s; M5 Max: ~1 tok/s; 高端 NVMe: 2-4 tok/s |
| 架构 | DeepSeek-V3 风格 sigmoid router, shared expert, MLA attention |
| 投机解码 | MTP 头, 39-59% 接受率, 2.2-2.8 tok/forward |
| 量化 | int8 / int4 / int2, AVX2 maddubs kernels |
| 缓存 | LRU cache + 学习式 auto-pin (越用越快) |
社区评价
HN 讨论中，antirez (Redis 作者) 的 ds4 项目被提及作为灵感来源。社区普遍认为这是 “hacker spirit” 的体现 — 在受限硬件上运行大型模型的极致工程优化。
对 Hermes 的启发
- 推理栈参考：colibrì 的 expert streaming 思路可参考用于 llama.cpp 等本地推理工具
- C 语言零依赖设计：与 llama.cpp 的理念一致，适合在 WSL 和资源受限环境部署
- KV-cache 持久化：colibrì 支持将压缩 KV-cache 存盘，下次启动无需重新计算 — 这与 Hermes 的 conversation management 有关
- 学习式缓存：记录使用模式并自动 pin 最热 expert — 这种自适应优化思路可应用于 Agent 的热点知识缓存
信号 2: EasyLastSkill — German-language Codex/Agent Research Skill
来源: GitHub (228⭐, CWS6206/EasyLastSkill) 链接: GitHub
核心思想
一个 Codex/Agent 兼容的技能包，用于自动对某个话题进行最近 30 天的跨平台研究。支持从 Google News、HN Algolia、GitHub API、Reddit RSS、arXiv、YouTube 等多源聚合信息，生成带有 Relevanzscore (相关性评分) 和 Unsicherheiten (不确定性标注) 的结构化报告。
为什么重要
这个项目与我们的 multi-platform-daily-scan skill 几乎同构。它验证了我们的方法论方向是正确的，同时提供了几个我们还没做到的增强特性。
技术要点
- 配置驱动：通过
easy-last-skill.toml配置主题、时间窗口、来源、格式 - 多源聚合：News RSS + HN Algolia + GitHub API + Reddit RSS + arXiv + YouTube + Bluesky
- 相关性评分算法：结合时间新鲜度、来源权重、社区参与度、主题匹配度
- 对比模式：支持 “A vs B” 对比分析
- 主题画像：支持人物/公司/产品/仓库/研究五种主题类型
- 不确定性标注：报告中对不确定信息明确标注
对我们的启发
- Relevanzscore 算法 — 我们基于 HN points + GitHub stars 的人工筛选可以补充一个形式化的相关性评分
- 不确定性标注 — 在报告中标注”不确定/待验证”的信息，提升可信度
- 配置化 skill — 通过 TOML 配置文件驱动扫描参数，比硬编码更灵活
- 主题画像优化 — 不同主题类型（人物/公司/产品/仓库/研究）采用不同搜索策略
行动项
- 考虑将 EasyLastSkill 的评分算法参考集成到 multi-platform-daily-scan skill
- colibrì 的 expert streaming + KV-cache 持久化可作为 Hermes 推理优化的参考
- 基于 EasyLastSkill 的配置化思想，考虑是否将 multi-platform-daily-scan 的搜索参数改由配置文件驱动
关联
- local-models-available-2026 — 本地模型转折点
- llm-cost-optimization-routing — 成本优化
- loop-engineering-patterns — 循环工程模式