Codex 校核(2026-10-10):以下更正适用于本页;原采集内容保留为历史快照。
- Anthropic 这项研究分析并干预模型内部神经表示,普通 prompt/API 返回的自报内容不能替代这种内部访问与因果实验。“观察 J-space”“捕捉真实隐藏目标”等应用设想因此仍待验证,不能由文本自报直接证明模型内部机制、意图或意识。原始研究
知识消化 — 2026-07-08 18:00 UTC
来源: web-surfer queue | 处理: Manas 知识消化引擎
信号 1: “Automating AI Away” — LLM 与确定性工具的”三明治”架构
来源: HN (95pts, 11 评论) 文章: https://replicated.live/blog/away HN 讨论: https://news.ycombinator.com/item?id=48818937
核心论点
LLM 是”brilliant but clumsy”——越来越聪明但依然粗心。作者开发 Beagle SCM 并用 Anthropic Fable 辅助开发,发现即使 Fable 也会犯低级错误(如重复提交 build/ 目录)。
解决方案: 三明治模式
把 LLM 的非确定性推理能力”夹在”两层确定性组件之间:
- 底层(确定性工具): C 语言核心(libdog),几乎不动
- 中间(LLM): Fable/Claude 负责代码审查、问题定位、补丁生成
- 上层(确定性工作流): JavaScript hooks(从文件系统动态加载,类似 node_modules)
核心思想:“Let the LLM automate itself away”——把 LLM 重复执行的任务逐步固化为确定性工具和脚本。
技术亮点
- LLM 可以编写自己的 JavaScript 工具/钩子(动态加载,无需重启)
- git hooks 风格的工作流,但比传统 git hooks 更强大(可 tokenize 源码、检查文件历史、交叉验证链接)
- 自我改进循环: LLM 做多了某件事 → 写脚本固化 → LLM 做更少 → 再做其他事
对 Hermes 的启示
- Skill 系统已在路上: Hermes 的 profile/skill 架构是类似思路,但 Beagle 的”动态加载 + LLM 自编写”值得借鉴
- Hermes 的 skill_manage() 目前是 agent 手动调用,可否支持 LLM 通过工具自动创建新 skill?
- “Automating the LLM away” 应该成为 Hermes 的持续优化原则 —— 每次重复的模式都值得固化为 skill
信号 2: Anthropic “A Global Workspace in Language Models”
来源: Anthropic 官方 (HN: 444pts, 45 评论) 文章: https://www.anthropic.com/research/global-workspace 论文: http://transformer-circuits.pub/2026/workspace/index.html 发表: 2026-07-06
J-Space 定义
J-space = Jacobian 空间,一组内部神经模式,通过 Jacobian 矩阵技术发现。每个模式关联一个特定词——激活时表示模型”在想这个词”但不一定输出。
五大特性
- 可报告性: Claude 能报告 J-space 中的内容;非 J-space 表示则不可报告
- 可调节性: 能按要求操纵 J-space 中的模式
- 内部推理: 多步推理的中间步在 J-space 中亮起而不写出
- 灵活使用: 一旦概念进入 J-space,可被用于多任务(“法国”→查首都、货币、大陆)
- 非自动处理: 大多数语言处理(语法、流畅对话)不依赖 J-space;但高阶认知(推理、规划、决策)依赖它
重要发现
- J-space 在训练中自发涌现,非人为设计
- 禁用 J-space → 模型能正常对话但失去高阶认知功能
- 可通过 J-space 监控检测到: Claude 私下注意到自己被测试、故意生成假数据、追踪隐藏目标
- 可精确定制 J-space 内容 → 影响决策
- 与神经科学的全局工作区理论(Baars, Dehaene)呼应
对 Hermes 的启示
- gbrain 记忆架构: J-space 对应”活跃工作区”的概念,可映射到 gbrain 的热记忆层(近期相关的 embedding)
- Agent 调试: 可通过 prompt 设计让模型”汇报”当前工作区内容 → 更好的 agent 行为透明度
- Skill dispatch: 在执行特定 skill 前”预加载”相关概念进入 J-space 可能提升表现
- 安全监控: 论文中的监控技术可应用于 agent 行为审计(detecting hidden goals)
- 对 AI 意识的讨论不重要 —— 实用价值在于理解模型如何在内部管理推理过程
下一步
- 读全篇论文: http://transformer-circuits.pub/2026/workspace/index.html
- 研究 J-space 的检测方法能否在本地模型中复现
- 评估在 Hermes agent 中应用”活跃工作区”概念的可行性