DeepMind DQN — 2013 初版与 2015 Nature 版辨析

来源：2014 InfoQ 经典解读 | 迁移自 agentmemory (2026-05-24)

DQN 以 Atari 屏幕像素作为网络输入，以游戏奖励训练动作价值函数；环境还提供合法动作集合和终止信号。各游戏沿用同一架构和超参数，但分别训练网络，不能理解为一个网络同时精通所有游戏。

核心架构

2013 初版：4 帧预处理画面 → 2 个卷积层 + 1 个全连接隐藏层 → 各动作 Q 值
2015 Nature 版：4 帧预处理画面 → 3 个卷积层 + 1 个全连接隐藏层 → 各动作 Q 值

训练方法：Q-learning、随机梯度下降与经验回放。2013 初版评估 7 个游戏，在其中 3 个超过人类专家；2015 Nature 版评估 49 个游戏，在其中 29 个达到人类得分的 75% 以上。不能概括为全部游戏都超过人类。

历史意义

• DeepMind 后来成为 Google 的一部分；原笔记的“5 亿欧元”缺乏所引原始论文支持，已移除未核实金额
• 标志着深度学习商业化的重要转折点
• DQN 算法是深度强化学习的里程碑

关键概念

• DQN (Deep Q-Network)：将深度神经网络与 Q-learning 结合
• Experience Replay：存储历史经验，随机采样训练，打破数据相关性
• Target Network：2015 Nature 版采用周期性更新的目标网络以稳定训练；不能直接把这一改进归入 2013 初版

2026-10-09 核验来源

原始 2014 InfoQ 解读链接未随迁移资料保存，原文归属待核实。上述架构与评估数据分别按 2013 原论文 和 2015 Nature 论文 更正。