🌍 Awesome World Models 仓库调研报告

调研日期: 2026-06-18
仓库: knightnemo/Awesome-World-Models (⭐ 3,030)
补充参考: leofan90/Awesome-World-Models (⭐ 1,801)
评估目标: gbrain/Humon 人类状态推断（Human State Inference）

---

一、世界模型（World Models）是什么

1.1 定义

以下为两篇影响较大的现代工作；模型式强化学习有更早的研究（例如 Sutton 1990 年 Dyna），不能把它们写作唯一源头：

当前通用定义：世界模型是智能体对环境的内部表征，能基于当前状态和动作预测未来状态，从而使智能体能够规划、推理和模拟”what-if”场景。

1.2 核心特征

• 预测性：给定当前观测 + 动作 → 预测下一观测
• 抽象性：学习在压缩的 latent space 中而非原始像素空间中运行
• 动作条件预测：建模动作与状态变化的关系；准确预测本身不能证明因果识别或物理规律保证
• 可规划：通过 rollout / 想象轨迹来评估行动方案

---

二、仓库全景分析

2.1 仓库结构

Awesome World Models 按应用领域与技术路线划分，共 12 个主要章节：

• 📖 Surveys (综述)
• 🎮 Game Simulation (游戏模拟)
• 🚗 Autonomous Driving (自动驾驶)
• 🤖 Embodied AI (具身智能)
  • Foundation Embodied World Models
  • Manipulation (操作)
  • Navigation (导航)
  • Locomotion (运动)
  • World Models x VLAs
  • World Models x Policy Learning
  • Policy Evaluation (策略评估)
• 🔬 Science (科学)
  • Natural Science (自然科学)
  • Social Science (社会科学)
• 💭 Positions (立场/观点)
• 📐 Theory & Explainability (理论/可解释性)
• 🛠️ General Approaches (通用方法)
  • Foundation World Models
  • 2D Vision Priors, 3D Vision Priors, Language Priors
  • Language ↔ Vision Bridging
  • Latent Space World Models (JEPA系列)
  • Object-Centric World Models
  • Post-training & Inference Scaling
  • Model-Based RL (Dreamer系列)
  • Other Modalities & Memory
• 📊 Evaluating World Models (评测)

2.2 关键数据

• 收录论文数：~500+ 篇（截至 2026年6月）
• 覆盖会议：NeurIPS, ICML, ICLR, CVPR, ICCV, RSS, CoRL, ECCV
• 时间跨度：2018 → 2026
• 领域分布：具身智能 ~40%，自动驾驶 ~25%，游戏 ~15%，科学 ~8%，NLP/Agent ~12%

---

三、世界模型的主要学派（分类）

3.1 按架构分类

3.2 按应用环境分类

3.3 按数据通路分类

---

四、核心论文与前沿进展

4.1 奠基工作

4.2 前沿方向（2025-2026）

---

五、世界模型对 Humon/gbrain 人类状态推断的价值评估

5.1 问题映射

Humon（人类状态推断）的核心挑战与世界模型能力的对应：

5.2 高价值方向

5.3 技术路线图

人类状态观测（文本/日志/传感器）
         ↓
[Tokenizer / Encoder]   ← 类似 V-JEPA 的多模态 encoder
         ↓
[Latent Dynamic Model]  ← Dreamer RSSM / DINO-WM / Mamba
   ┌───────┴───────┐
   ↓               ↓
[State Inference]  [Prediction/Rollout]
   "现在什么状态"    "未来状态预测"
         ↓               ↓
[Action/Counterfactual]  ← 因果WM / JEPA 预测器
   "如果...会怎样"

5.4 对 gbrain 的具体建议

近期可快速借鉴：

1. DINO-WM / DINO-Foresight：将预训练特征作为状态空间，在其上做少量监督即可做规划。迁移到文本 embedding 和人类状态推断尚是本报告的研究设想，未经本项目验证。
2. Semantic World Models (WeirdLab)：直接将语义作为 WM 状态空间——与 gbrain/Humon 的”语义知识图谱+文本推断”高度契合。
3. RAP (LLM + WM for planning)：用 LLM 作为状态转换先验 + WM 做模拟——非常接近 Humon 的”LLM 理解人类 + 结构化推断”混合范式。

中期可探索：

1. Social World Models / SocioVerse：专为模拟人类行为设计的 WM 架构，可直接作为 Humon 推断引擎。
2. Latent Action World Models：如果 Humon 需要建模”行为干预→状态变化”，latent action WM 提供不依赖真实动作标签的学习方法。

长期研究愿景：

• 构建完整的”人类世界模型”：将个人的行为日志、生理数据、社交关系视为观测序列，训练 RSSM 式隐状态模型，同时建模因果结构（什么是状态、什么是动作、什么是干扰变量）。这可能是 gbrain 下一代的推理核心。

5.5 风险与局限

---

六、总结

Awesome World Models 仓库是当前全球最全面的世界模型论文列表（3,000+ stars, 500+ 论文），覆盖从经典 Dreamer 到 2026 年最新的 VLA+WM 融合、实时交互式 WM、社会科学 WM 等全部前沿方向。

对 gbrain/Humon 的价值判断：

• ✅ 高价值：世界模型的 latent state inference + prediction + counterfactual simulation 三件套与人类状态推断的任务结构高度一致
• 🧪 待验证的迁移候选方法：SSM/RSSM 用于时间序列状态推断、JEPA 用于多模态表征、因果 WM 用于反事实推理
• ✅ 启发性方向：Social World Models、Semantic World Models、LLM+WM 混合架构
• ⚠️ 需要适配：从物理/视觉空间迁移到语义/行为空间
• ⚠️ 数据与评测挑战：需要设计适合人类数据特性的 WM 变体

推荐动作：

1. 优先阅读：DreamerV3 → V-JEPA 2 → DINO-WM → RAP → Social World Models
2. 在 gbrain 中引入”Human State RSSM”概念原型：从时间序列文本/行为数据中学习隐状态转移
3. 探索用 Semantic World Model 架构作为 Humon 的推理框架

---

本报告基于 knightnemo/Awesome-World-Models (⭐3,030) 和 leofan90/Awesome-World-Models (⭐1,801) 的 README 内容分析生成。

---

Codex 审阅补注（2026-10-09）

分类据 TD-MPC2 原论文和 DINO-WM 原论文修正。更早背景见 Sutton 的 Dyna 论文。Humon/gbrain 人类状态推断路线是建议，尚无这里记录的迁移实验、诊断准确度或因果验证。星标和仓库目录为 6 月快照。