2026-10-10 补充校核:Nous 7/16新版:普通会话基准收益很小,主要改善可靠性不同的冲突证据;需防置信度投毒。Cascadeflow为六维目标,已有Hermes集成文档不证明本机安装;成本分数为作者测试。RLM实验规模有限,不保证任意任务质量或输出分布等价。BEAM容错不等于安全沙箱,Python/TS也可支持并发I/O。 1 · 2 · 3
⚡ 多平台深度情报 — 2026-06-24
扫描窗口: 2026-06-24 | 平台: GitHub + HN + ArXiv + 博客 今日焦点: Agent 运行时架构进入”基础设施化”阶段 — BEAM 级并发、Tile 级推理、In-Process 智能路由三条主线并行推进
─────────────────────────
🚨 核心发现(4 个深度分析)
1. 🚨 Jido 2.0 — BEAM Agent Framework | ⭐⭐⭐⭐⭐
评分: ⭐⭐⭐⭐⭐ | ⬆ 323 HN | 💬 65 评论 来源: HN → https://news.ycombinator.com/item?id=47263036
项目定位(一句话): Jido 2.0 是一个基于 Elixir/OTP (BEAM VM) 的纯函数式 Agent 框架,将 Agent 建模为数据(struct),副作用为指令(directives),用 GenServer 作为运行时容器。
证据原文:
“I made a bet: the BEAM is the best runtime for agent systems. TypeScript agent frameworks felt like toys. Single-threaded event loops trying to juggle concurrent agents with promises and prayer.”
“The foundation of Jido 2.0 is a pure functional agent architecture. Agents are data. A struct with state, actions, and tools that can be run inside a GenServer. That’s it. Everything flows through a single function: cmd/2.”
“You can unit test every decision an agent makes without touching a network, a database, or an LLM.”
深度分析:
- 本质问题: 当前主流 Agent 框架(LangChain、CrewAI、AutoGPT)都在 Python/TS 的事件循环上模拟并发,但处理真正的大量 Agent 协作时,GIL 和单线程瓶颈暴露无遗。Jido 选择 BEAM(Erlang VM),一个为电话交换机设计的 40 年分布式运行时,天生支持 actor 模型、进程隔离、热更新。
- 为什么现在火: Agent 系统正在从”单个 agent 写代码”进化到”多 Agent 协作/Agent 集群”阶段。当你需要数百个 Agent 并行运行时,Python/TS 的事件循环不够用了。BEAM 的 100 万+ 进程/节点、每进程独立 GC、监督树(supervision trees),正好击中这个痛点。
- 架构亮点:
- Agent = Data + cmd/2: Agent 状态是一个不可变 struct,所有操作通过
cmd/2函数(action in → updated agent + directives out)。Actions 是 pluggable 的Jido.Action合约。AI 层只是 Action 的一种实现。 - AgentServer / 监督树: AgentServer 是一个 GenServer,包裹 Agent struct,提供信号路由、指令执行、父子 Agent 层次结构。
- ReqLLM 客户端: 11 个 Provider 实现,覆盖 665+ 模型,streaming-first。
- Sigils 信号路由: 基于 CloudEvents v1.0.2,高性能 trie 路由 + pub/sub bus + 9 种分发适配器。
- 行为树支持: 非 LLM 的执行模型也可以插到同一个 action 接口上。
- Agent = Data + cmd/2: Agent 状态是一个不可变 struct,所有操作通过
- 同类对比: 与 LangChain(Python)、Vercel AI SDK(TS)最大的差异是运行时模型(runtime model)—— Jido 不是在语言层面模拟并发,而是在 VM 层面原生支持并发、容错和分布。
对我们意味着什么:
- 对 Hermes Agent: 🔴 P0 — Hermes Agent 本身是 Python 运行时;Codex/Claude Code 是可另行调用的工具或客户端。Jido 的架构思想(Agent-as-data, directives-as-side-effects)可以直接借鉴到 Hermes 的 skill/tool 路由层。当前 Hermes 的 side effects 代码需要更结构化的指令模式。
- 对 gbrain/knowledge brain: 🟢 P2 — BEAM 的分布能力对多节点 gbrain 将来有用但近期不需要。
- 架构启发: 可以考虑将 Hermes 的 Agent 状态机改为纯数据模式 — 所有 side effect 描述为可序列化的指令列表,方便审计、回放和重试。
- 行动建议: 阅读 Jido 源码架构,提取
cmd/2和 directive 模式,候选为 Hermes 技能定义改进提供参考。
─────────────────────────
2. 🚨 Cascadeflow (⭐2,517) — In-Process Agent Runtime Intelligence | ⭐⭐⭐⭐⭐
评分: ⭐⭐⭐⭐⭐ | ⭐ 2,517 | Hermes 已有集成 来源: GitHub → https://github.com/lemony-ai/cascadeflow
项目定位(一句话): Agent 运行时的 In-Process 智能路由层 — 在 Agent 执行循环内部(不是 HTTP 代理边界)按步骤动态选择模型,同时优化成本、延迟、质量、合规和能耗。
证据原文:
“The in-process intelligence layer for AI agents. Optimize cost, latency, quality, budget, compliance, and energy — inside the execution loop, not at the HTTP boundary.”
“cascadeflow works where external proxies can’t: per-step model decisions based on agent state, per-tool-call budget gating, runtime stop/continue/escalate actions.”
“Cost Savings: 69% (MT-Bench), 93% (GSM8K), 52% (MMLU), 80% (TruthfulQA) savings, retaining 96% GPT-5 quality. Sub-5ms overhead.”
深度分析:
- 本质问题: 外部代理/网关只能在 HTTP 请求边界做模型路由,但 Agent 执行内部的步骤级别(per-step)决策 — 如 “这个 tool call 需要旗舰模型吗?这个 sub-agent 切小模型够用吗?” — 外部代理看不到。Cascadeflow 以一个 Python/TS 库的形式嵌入 Agent 循环内部,在每个模型调用的上下文中做最优决策。
- 为什么现在火: Token 成本是 Agent 系统的首要痛点。当单个 Agent 每次调用可能产生 50 次 model call,模型选择优化直接决定系统是否经济可行。Cascadeflow 的调研结果显示 40-70% 的查询不需要旗舰模型。
- 技术亮点:
- 六维目标: 同时优化 cost + quality + latency + budget + compliance + energy
- 四种执行动作:
allow/switch_model/deny_tool/stop— 不只是 observe-only - Per-step decision trace: 每步决策可追溯、可审计
- Hermes Agent 原生集成: 提供 per-skill model cascading, task-complexity cascading, topic-aware subagent cascading
- 同类对比: 与外部代理(如 OpenRouter、Portkey)的区别在于它是 in-process 的,能看到 agent state 和 tool call 上下文。与 RLM-Cascade(下一条)互补 — RLM-Cascade 做 response-level spec dec,Cascadeflow 做 step-level model routing。
对我们意味着什么:
- 🔴 P0 — 直击 Hermes 当前痛点。Hermes 运行多 Agent 多 skill 时,每个 skill 的 model routing 当前是固化的。Cascadeflow 的 per-skill model routing 作者宣称部分设定可降低成本;本机费用和任务成功率尚未实测。
- 集成建议: 阅读 https://docs.cascadeflow.ai/integrations/hermes-agent 了解 Hermes 集成配置。作为 Manas 总调度,可以配置 research skill 用小模型(如 deepseek-v4-flash),coding skill 用大模型。
- 难度: 低 — 已有现成 Hermes 集成,类似 pip install + config 即可。
─────────────────────────
3. 🚨 RLM-Cascade: Response-Level Speculative Decoding (ArXiv 2606.22840) | ⭐⭐⭐⭐
评分: ⭐⭐⭐⭐ | 新论文 (2026-06-22) 来源: ArXiv → https://arxiv.org/abs/2606.22840
论文定位: 在 API 代理层对 LLM 响应做投机解码(speculative decoding) — 快速小模型先生成完整响应 → 大模型验证/增强/跳过。
证据原文:
“RLM-Cascade achieves a draft-use rate of 88.8% across 125 production requests, reducing API cost by 45.8% relative to a direct Opus baseline.”
“Counter-intuitively, the proxy also reduces end-to-end latency: median response time is 2,026 ms versus 3,698 ms for Native Opus — a 1.83X speedup at p50.”
深度分析:
- 与 Cascadeflow 形成 互补:RLM-Cascade 在 HTTP 代理层做 response-level spec dec(大任务级别的投机),Cascadeflow 在 Agent 循环内部做 step-level model routing(小步骤级别的智能选择)。两者可以叠加。
- 核心设计: Fast draft model (DeepSeek) 生成完整响应 → complexity router 判断是否需要 verify model (Claude Opus) → 不需要则直接返回 draft (88.8% 的情况) → 需要则 verify/enhance。
- 对 Claude Code 工作负载的实测: 45.8% 成本降低 + 1.83x 延迟加速。
- 关键 insight: 响应级别的投机解码不同于 token 级别的投机解码 — 不需要共享 tokenizer,不限制架构,纯 API 层可用。这对 Hermes 直接可用。
─────────────────────────
4. 🚨 Nous: Predictive World Model for Agent Memory (ArXiv 2606.22030) | ⭐⭐⭐⭐
评分: ⭐⭐⭐⭐ | 新论文 (2026-06-20) 来源: ArXiv → https://arxiv.org/abs/2606.22030
论文定位: 颠覆传统 Agent 记忆架构 — “知识是预测,不是存储”。不存储事实(vector DB/knowledge graph),而是维护每个 entity-attribute pair 的概率分布,信息更新仅记录 delta(后验 - 先验的偏移)。
证据原文:
“Knowledge is prediction, not storage. Rather than persisting facts as database records, vector embeddings, or knowledge-graph triples, Nous maintains a predictive world model: a collection of categorical probability distributions.”
原摘要把向均匀分布回归称为“entropy decay”,术语不正确:在固定类别空间中,趋向均匀通常表示不确定性与熵增加。
深度分析:
- 传统 Agent 记忆的问题: 存事实 → 过时了怎么办?冲突了怎么办?哪个更可信?Nous 的回答是 “不存事实,存模型” — 对每个观察到的实体-属性对,维护一个概率分布 P(属性值 | 观测历史)。新观测更新分布,重要性用信息论惊喜度(surprise = -log2 P(obs|D))衡量。
- Delta 存储: 只存储先验到后验的偏移,不是事实本身。这意味着”你忘记了什么”和”你学到了什么”同等重要。
- 对 gbrain 的启发极大: gbrain 当前存事实笔记。如果改为概率模型 + delta 存储,可研究可靠性不同的冲突证据更新;并不自动解决知识过时或冲突,v2 对普通会话基准收益有限。
─────────────────────────
📡 生态信号扫描
GitHub 生态新项目(快速一览)
| 项目 | ⭐ | 上榜原因 | 一句话 |
|---|---|---|---|
| Jido 2.0 | 新秀 | BEAM Agent 范式 | 纯函数式 Agent 在 Erlang VM 上运行, 323⬆ HN |
| cascadeflow | 2,517 | Cost/Quality 智能路由 | In-Process Agent 运行时智能层, 已有 Hermes 集成 |
| TileRT | 1,466 | LLM 推理架构 | Tile 级编译器驱动推理, 1000 TPS on 1T model |
| orra | 245 | Durable Agent Workflows | 计划引擎+预验证+状态持久化, 弹性执行 |
| rp-engine | 1,233 | Rust YAML Agent 引擎 | Rust 写的声明式 Agent 工作流执行引擎 |
| flyto-core | 275 | 可调试自动化引擎 | 每步可追踪, 任意点回放, MCP-native |
| GraphAI | 371 | 异步数据流 Agent | 数据流驱动的 Agent 执行, 取代控制流 |
| conductor-oss | 31,963 | Agentic 工作流引擎 | Netflix Conductor 进化版, 事件驱动 Agent |
| Hatchet | 7,408 | Durable Agent 编排 | 后台任务+AI Agent+可持久工作流 |
| cocoindex | 10,475 | 长时 Agent 引擎 | 增量式长时 Agent 执行引擎 |
| AgentScript | 259 | CodeAct Agent SDK | AST-based 代码执行引擎 |
社区讨论趋势
| 主题 | 平台 | 热度 | 核心分歧/共识 |
|---|---|---|---|
| BEAM vs Python/TS for Agent Runtime | HN | 323⬆ / 65💬 | BEAM 原生并发 vs 事件循环模拟, Jido 引发讨论 |
| F3 新一代文件格式 | HN | 542⬆ / 124💬 | 嵌入式 Wasm 解码器, Wes McKinney 参与, 对 Data Infra 影响深远 |
| Agent Runtime 需要”操作系统层” | 跨平台 | 多信号 | 多个新项目从不同角度解决相同问题: Agent 需要专用运行时 |
| Token 成本危机 → 智能路由方案 | ArXiv+GitHub | 🔴趋势 | RLM-Cascade + Cascadeflow 双线推进 cost optimization |
技术文献/论文
- RLM-Cascade (2606.22840): 响应级投机解码, 45.8% cost reduction + 1.83x speedup
- Nous (2606.22030): 预测式世界模型代理记忆, knowledge = prediction not storage
- MAS-PromptBench (2606.23664): 多 Agent 系统 Prompt 优化, 搜索空间指数级增长
─────────────────────────
🧭 趋势研判
本周信号强度
| 方向 | 趋势 | 信号强度 | 我的判断 |
|---|---|---|---|
| Agent 运行时架构 | 📈 爆发上升 | 🔴 强信号 | BEAM/Erlang 入局 + 多个专用运行时项目, 2026是Agent Runtime元年 |
| In-Process vs Proxy 模型路由 | 📈 快速上升 | 🔴 强信号 | Cascadeflow + RLM-Cascade 双线验证, Hermes应同时探索 |
| LLM 推理架构 Tile 级优化 | 📈 稳步上升 | 🟡 信号 | TileRT 1000TPS是里程碑, 但硬件门槛高(B200 8×GPU) |
| 记忆架构范式转移 | 📈 学术萌芽 | 🟡 信号 | Nous 论文提供新范式, 但距离工程落地较远 |
关键变化
- Agent Runtime 正在变成操作系统设计问题: 不再是在框架层面”调度 agent”,而是需要 process isolation、supervision trees、热升级、进程级 GC — 这正是 BEAM 设计用来解决四十年的问题。Jido 2.0 的热度(323⬆ HN)说明社区已经开始关注这个层面。
- Cost optimization 从”外部代理”走向”内部智能”: Cascadeflow 的 <5ms in-process 策略 + RLM-Cascade 的 response-level spec dec 说明, 下一步不是选哪个模型, 而是让 Agent 自己知道什么时候该用哪个模型。
- Hermes Agent 已站在正确位置: Cascadeflow 已经为 Hermes 提供集成, 说明 Hermes 的 skill-based 架构天生适合 per-skill model routing。这是先发优势。
─────────────────────────
📋 执行建议汇总
| # | 建议 | 优先级 | 对应项目 | 难度 |
|---|---|---|---|---|
| 1 | 评估 Cascadeflow Hermes 集成 — 在 research vs coding skill 间做 per-skill model routing | 🔴 P0 | cascadeflow | 低 |
| 2 | 阅读 Jido 2.0 源码架构, 提取 cmd/2 + directive 模式, 评估对 Hermes skill/tool 路由层的改进 | 🟡 P1 | Jido 2.0 | 中 |
| 3 | 调研 TileRT 作为本地 Hermes 推理引擎的可行性 | 🟢 P2 | TileRT | 高(B200依赖) |
| 4 | 精读 Nous 论文, 评估对 gbrain 知识模型(概率分布 vs 事实存储)的影响 | 🟢 P2 | ArXiv 2606.22030 | 中 |
| 5 | 将 Cascadeflow 和 RLM-Cascade 的关系整理为参考文档, 明确 in-process vs proxy 边界 | 🟡 P1 | 自用 | 低 |
─────────────────────────
日报自动生成于 2026-06-24 05:23 CST · 下次扫描 2026-06-25