2026-10-10 补充校核:Gemma 的自我模型描述来自作者实验:识别被修改的历史输入并不自动证明自我意识、稳定自我模型或多轮训练的必要性;历史修改仍是模型可见输入。本笔记没有独立复现实验。 作者原文
知识消化: LLMs 嗅觉镜像测试与AI视觉表征
发现一: LLMs 的”嗅觉镜像测试” (⭐60, 💬16)
来源: HN → Do LLMs pass the mirror test? 原文: blog.pascalschuster.de
核心洞察
传统的 LLM 镜像测试改编版存在根本性缺陷:它们把视觉镜像测试直接翻译为文本(“这是你写的吗?""从匿名列表中找出你的回答”)。作者类比了动物认知研究中的一个关键教训:狗在视觉镜像测试中”失败”,只是因为它们的主要感知模态是嗅觉而非视觉。Alexandra Horowitz 的改进是呈现狗自己的气味,然后呈现被修改过的气味——狗对”自己的但不对劲”的信号产生强烈反应。
将这个逻辑迁移到 LLM:
- LLM 的主要模态是文本,而且是对话上下文中的文本
- 真正的”嗅觉镜像测试”不是问模型”这是你写的吗”,而是偷偷修改模型自己的输出,然后在正常对话中看它是否能察觉异常
实验设计
作者在 Google AI Studio 中用 Gemma 4 31B-IT 做了实验:
- 问一个普通问题(关于 James Bond 电影)
- 正常获取模型回答
- 悄悄修改回答(将 g 替换为 sg——“Goldfinger” → “sgoldfinsger”)
- 继续对话,仿佛什么都没发生
关键发现
- 前两轮无反应:模型完全没注意到输出被篡改
- 第三轮自发觉察:在思考 trace 中,模型突然冒出:“Wait, I noticed a pattern in my previous responses: I had some weird typos… did I do that on purpose or was it a glitch?”
- 语言转换现象:当异常无法与自我模型调和时,模型从第一人称(“I noticed”)切换到第三人称(“the model had a strange quirk”)——类似于人说”my brain just did something weird”
- 适应策略:模型最终决定将异常视为”风格选择”来维持角色一致性
意义与分析
- 这测量的不是”自我意识”(philosophical sense),而是对内部基线的异常检测
- 自发性是关键:没有外部提示,模型在思考第三人称任务时自主察觉了异常
- 与对 Hermes Agent 的意义:理解 AI 的自我监控能力边界——模型虽然能检测到自己输出的偏差,但需要多个回合才能察觉,而且会主动合理化异常
- 与 gbrain 的联系:gbrain 的 contradiction detection 功能也可以看作一种”内部基线异常检测”
社区讨论亮点
- 相关讨论提到:当 AI Agent 检测到用户手动修改了文件内容时,会假设自己犯了错误——这是一种典型的”自我归因”偏差
- 还有评论提出:更合适的”镜像测试”是让 LLM 描述自己训练数据的组成比例——由于 post-training 对齐,它们通常拒绝回答
发现二: Better Images of AI
来源: HN → betterimagesofai.org
这是一个非营利项目,致力于创建替代 AI 的视觉表征方案。核心观点:
- 当前 AI 新闻和营销中使用的人形机器人、发光大脑、蓝色背景等陈词滥调误导公众理解 AI
- 科幻式的 AI 图像制造不切实际的期望,掩盖开发者的责任
- 提供免费的 CC 许可替代图片库
对 Hermes 的启发
- 在生成 AI 相关的内容/文章配图时,避免 “glowing brain / humanoid robot” 范式
- 参考其 “playbook” 指导来设计更准确的 AI 可视化
行动建议
- 🟢 P2: 将此认知纳入对 AI Agent 行为理解的框架
- 🟢 P2: 在将来需要为 AI 文章配图时参考 betterimagesofai.org 的指导原则