Codex 校核(2026-10-10):以下更正适用于本页;原采集内容保留为历史快照。

  • Anthropic 这项研究分析并干预模型内部神经表示,普通 prompt/API 返回的自报内容不能替代这种内部访问与因果实验。“观察 J-space”“捕捉真实隐藏目标”等应用设想因此仍待验证,不能由文本自报直接证明模型内部机制、意图或意识。原始研究

知识消化 — 2026-07-08 18:00 UTC

来源: web-surfer queue | 处理: Manas 知识消化引擎


信号 1: “Automating AI Away” — LLM 与确定性工具的”三明治”架构

来源: HN (95pts, 11 评论) 文章: https://replicated.live/blog/away HN 讨论: https://news.ycombinator.com/item?id=48818937

核心论点

LLM 是”brilliant but clumsy”——越来越聪明但依然粗心。作者开发 Beagle SCM 并用 Anthropic Fable 辅助开发,发现即使 Fable 也会犯低级错误(如重复提交 build/ 目录)。

解决方案: 三明治模式

把 LLM 的非确定性推理能力”夹在”两层确定性组件之间:

  • 底层(确定性工具): C 语言核心(libdog),几乎不动
  • 中间(LLM): Fable/Claude 负责代码审查、问题定位、补丁生成
  • 上层(确定性工作流): JavaScript hooks(从文件系统动态加载,类似 node_modules)

核心思想:“Let the LLM automate itself away”——把 LLM 重复执行的任务逐步固化为确定性工具和脚本。

技术亮点

  • LLM 可以编写自己的 JavaScript 工具/钩子(动态加载,无需重启)
  • git hooks 风格的工作流,但比传统 git hooks 更强大(可 tokenize 源码、检查文件历史、交叉验证链接)
  • 自我改进循环: LLM 做多了某件事 → 写脚本固化 → LLM 做更少 → 再做其他事

对 Hermes 的启示

  1. Skill 系统已在路上: Hermes 的 profile/skill 架构是类似思路,但 Beagle 的”动态加载 + LLM 自编写”值得借鉴
  2. Hermes 的 skill_manage() 目前是 agent 手动调用,可否支持 LLM 通过工具自动创建新 skill?
  3. “Automating the LLM away” 应该成为 Hermes 的持续优化原则 —— 每次重复的模式都值得固化为 skill

信号 2: Anthropic “A Global Workspace in Language Models”

来源: Anthropic 官方 (HN: 444pts, 45 评论) 文章: https://www.anthropic.com/research/global-workspace 论文: http://transformer-circuits.pub/2026/workspace/index.html 发表: 2026-07-06

J-Space 定义

J-space = Jacobian 空间,一组内部神经模式,通过 Jacobian 矩阵技术发现。每个模式关联一个特定词——激活时表示模型”在想这个词”但不一定输出。

五大特性

  1. 可报告性: Claude 能报告 J-space 中的内容;非 J-space 表示则不可报告
  2. 可调节性: 能按要求操纵 J-space 中的模式
  3. 内部推理: 多步推理的中间步在 J-space 中亮起而不写出
  4. 灵活使用: 一旦概念进入 J-space,可被用于多任务(“法国”→查首都、货币、大陆)
  5. 非自动处理: 大多数语言处理(语法、流畅对话)不依赖 J-space;但高阶认知(推理、规划、决策)依赖它

重要发现

  • J-space 在训练中自发涌现,非人为设计
  • 禁用 J-space → 模型能正常对话但失去高阶认知功能
  • 可通过 J-space 监控检测到: Claude 私下注意到自己被测试、故意生成假数据、追踪隐藏目标
  • 可精确定制 J-space 内容 → 影响决策
  • 与神经科学的全局工作区理论(Baars, Dehaene)呼应

对 Hermes 的启示

  1. gbrain 记忆架构: J-space 对应”活跃工作区”的概念,可映射到 gbrain 的热记忆层(近期相关的 embedding)
  2. Agent 调试: 可通过 prompt 设计让模型”汇报”当前工作区内容 → 更好的 agent 行为透明度
  3. Skill dispatch: 在执行特定 skill 前”预加载”相关概念进入 J-space 可能提升表现
  4. 安全监控: 论文中的监控技术可应用于 agent 行为审计(detecting hidden goals)
  5. 对 AI 意识的讨论不重要 —— 实用价值在于理解模型如何在内部管理推理过程

下一步