调研方法：横纵法（横向产业格局 × 纵向技术演进史）
调研对象：World Models 概念定义、技术路线、主要玩家、演进趋势
资料截止：2026 年 7 月 12 日
本文由 Founder Park 万字科普讨论内容出发，通过横纵调研法补充一手资料后整理而成。

核心结论（30秒速览）

世界模型的本质是交互式预测模型 P(s(t+1) | s(t), a(t))——给定当前状态和动作，预测下一个状态。它与视频生成模型的根本区别在于动作维度 a(t)：视频模型只能”做梦”被动观察，世界模型像”清醒梦”可以干预走向。

关键判断：当前世界模型正处于从”能渲染”向”能模拟+能规划”演进的关键期。DeepMind Genie 3 实现了实时交互式世界生成（20-24 fps），NVIDIA Cosmos 3 定位为”物理 AI 基础模型”，Meta 推进 JEPA 架构的非生成式路线，DreamerV3 证明了单一配置可跨 150+ 任务通用。终点是统一的单一基础模型，但当前各玩家仍在不同维度上单点突破。

对 AI-SRE 的启示：SRE Agent 同样需要一个”世界模型”来预测系统状态变化和故障传播路径。世界模型的三分类（渲染器/模拟器/规划器）可以直接映射到 SRE 的三层能力：可观测（渲染）→ 可推演（模拟）→ 可决策（规划）。

1. 背景与问题定义

1.1 什么是世界模型

世界模型（World Model）的概念源自认知科学——人类大脑构建的关于外部世界的内部模型，用于预测和决策。系统动力学奠基人 Jay Wright Forrester（1918–2016，MIT 教授、磁芯存储器发明人）曾如此描述心智模型（Ha & Schmidhuber 在 World Models 论文引言中引用了这段话）：”我们头脑中携带的这个世界的图像，只是一个模型。没有人能在脑中想象整个世界，他只拥有一些经过挑选的概念（selected concepts）以及它们之间的关系，并用这些来代表真实系统。”

在 AI 领域，世界模型指的是AI 系统内部构建的关于环境动态变化的预测模型。Ha & Schmidhuber 在 2018 年的开创性论文《World Models》中首次系统性地将这一概念引入深度学习，提出将 Agent 分为大型世界模型（V+M）和小型控制器（C）的架构，甚至可以在 Agent 自己”梦境”生成的环境中训练策略，再迁移回真实环境。

核心公式：

P(s(t+1) | s(t), a(t))

• s(t)：当前世界状态
• a(t)：Agent 采取的动作
• s(t+1)：预测的下一时刻状态

关键区别：视频生成模型（如早期的 Sora）本质是 P(s(t+1) | s(t))——只观测不干预。世界模型引入了动作维度 a(t)，使得 Agent 可以在预测中”行动”而非仅仅”观察”。

1.2 为什么现在重要

2025-2026 年，世界模型从学术概念进入产业爆发期：

• DeepMind Genie 3：实时交互式世界生成，20-24 fps，720p 光照级别真实感
• NVIDIA Cosmos 3：定位”物理 AI 基础模型”，支持机器人策略学习、自动驾驶训练、视频分析
• Meta V-JEPA 2：非生成式路线，仅 62 小时微调实现零样本机器人部署
• OpenAI Sora：验证了视频生成模型作为世界模拟器的 scaling law
• Comma.ai：首个消费级世界模型产品落地（自动驾驶）

2. 横向调研：当前产业格局

2.1 李飞飞三分类法

斯坦福大学李飞飞团队提出的世界模型功能分类法，是目前最有用的分析框架：

关键洞察：三者本质是同一种底层世界理解的三种投影。渲染器回答”世界看起来怎样”，模拟器回答”世界是怎样运作的”，规划器回答”在这个世界里我该怎么做”。终点是统一的单一基础模型，同时具备三种能力。

2.2 主要玩家全景

2.3 技术路线对比

当前世界模型存在三条主要技术路线，反映了不同的哲学选择：

路线一：生成式（Generative）

代表：Sora、Genie 3、GAIA-1

• 思路：直接生成未来帧的像素
• 优势：视觉表现力强，人类直观可理解
• 劣势：计算开销大，物理一致性难以保证，容易”幻觉”
• 核心问题：生成的画面好看，但不一定符合物理规律

路线二：非生成式（Non-Generative / JEPA）

代表：Meta I-JEPA、V-JEPA

• 思路：在表征空间（latent space）做预测，不生成像素
• 优势：计算效率高，抽象表示更利于下游任务，避免像素级噪声
• 劣势：不可视化，人类难以直观理解预测质量
• 核心洞察：LeCun 认为生成式模型浪费大量算力在重建无关细节上，智能的本质是在抽象层面做预测

路线三：RL 世界模型（Reinforcement Learning）

代表：DreamerV3、MuZero、DIAMOND

• 思路：学习环境动态模型，在”想象”中 rollout 训练策略
• 优势：直接面向决策优化，可在模型内做大量试错
• 劣势：受限于已探索的状态空间，泛化到新环境能力有限
• 关键突破：DreamerV3 证明单一配置可跨 150+ 任务通用，MuZero 完全无人类先验知识超越前代

2.4 应用领域横切

3. 纵向调研：技术演进史

3.1 四波技术浪潮

3.2 架构演进

第一代：VAE + RNN（2018）

Ha & Schmidhuber 的原始架构包含三个组件：

• Vision（V）：VAE 将高维图像压缩为低维潜在向量 z_t
• Memory（M）：MDN-RNN 预测下一时刻的 z_{t+1} 分布 P(z_{t+1) | a_t, z_t, h_t)
• Controller（C）：简单线性模型 a_t = W_c[z_t, h_t] + b_c

关键设计决策：将复杂度集中在世界模型（V+M），控制器保持极简，使 RL 训练可以在小搜索空间上高效进行。

第二代：Transformer + 扩散（2023-2024）

随着 Transformer 和扩散模型的成熟，世界模型架构发生范式转移：

• 编码器：从 VAE 升级为 Vision Transformer（ViT）
• 预测器：从 RNN 升级为自回归 Transformer 或扩散模型
• 训练数据：从单一环境扩展到互联网规模视频数据
• 代表：Sora 使用 DiT（Diffusion Transformer）架构，将视频生成建模为潜在空间中的去噪过程

第三代：联合嵌入预测（2023-2026）

LeCun 提出的 JEPA（Joint-Embedding Predictive Architecture）开辟了新路线：

• 核心思想：不在像素空间预测，而在学习到的表征空间预测
• I-JEPA（2023）：从单一上下文块预测同一图像中多个目标块的表征
• V-JEPA（2024-2025）：扩展到视频时序预测
• V-JEPA 2（2025-2026）：加入动作条件，实现零样本机器人控制

关键区别：JEPA 消除了生成模型中”重建无关细节”的计算浪费，直接在语义层面学习世界动态。

3.3 关键技术挑战演进

3.4 数据命门：从哪里获取”观察-预测-行动”三元组

世界模型训练的核心挑战是数据：视频数据虽然丰富，但缺少深度信息和动作标注。

当前三条数据获取路径：

路径一：互联网视频数据

• 数量大，但只有 (s(t), s(t+1)) 对，缺少 a(t)
• 需要反推动作或使用无动作的世界模型
• Sora、Veo 3 主要走这条路线

路径二：游戏平台数据

• General Intuition 利用 Medal 游戏平台的数万亿”观察-预测-行动”循环
• 天然包含完整三元组 (s(t), a(t), s(t+1))
• 数据质量高但领域受限

路径三：物理模拟器数据

• NVIDIA Omniverse 等物理引擎生成精确模拟数据
• 完全可控，但模拟到真实的迁移（sim-to-real）仍是挑战
• Cosmos 走这条路线

三条迁移曲线决定泛化能力：

1. 输入模态迁移：从一种传感器到另一种
2. 传感器迁移：从模拟传感器到真实传感器
3. 环境迁移：从训练环境到未见过的环境

4. 深度分析：代表性系统

4.1 DeepMind Genie 3：交互式世界生成的 SOTA

Genie 3 是 Google DeepMind 的通用世界模型，代表了生成式路线的当前最高水平：

核心能力：

• 实时交互：20-24 fps 流体交互
• 光照级真实感：720p 分辨率光栅化渲染
• 世界一致性：已见过的细节在重访时被回忆
• Street View 锚定：基于 Google Maps 街景数据创建世界

关键局限：

• 动作空间有限：环境干预范围广，但 Agent 自身可执行的动作有限
• 多 Agent 交互：准确建模多个独立 Agent 在共享环境中的交互仍是研究挑战
• 真实世界精度：无法完美模拟真实世界地点
• 交互时长：支持几分钟连续交互，而非数小时

意义：Genie 3 证明了实时交互式世界生成在消费级硬件上的可行性，被 DeepMind 定位为”通向 AGI 的关键基石”。

4.2 NVIDIA Cosmos 3：世界基础模型平台

NVIDIA 将 Cosmos 定位为”物理 AI”的基础设施，不同于纯研究项目，它是一个完整的平台：

三层定位：

1. 视觉语言模型（VLM）：用于场景理解和推理
2. 世界行动模型（WAM）：后训练为特定机器人的策略模型
3. 世界模拟器：可控的、物理接地的预测引擎

开放策略：

• 开放模型权重和代码
• 提供 Cosmos Curator（数据治理）、Cosmos Evaluator（输出评估）
• 支持 Agent Skills 进行合成数据生成

应用闭环：

• 机器人学习：后训练 → 闭环模拟 → 合成数据增强
• 自动驾驶：天气/光照/地理数据扩增 → 多传感器视角扩展
• 视频分析：实时上下文告警 → 视频搜索和摘要

关键洞察：NVIDIA 的策略是将世界模型作为”基础设施”而非”终端产品”，通过开放生态绑定硬件销售（RTX PRO 6000 Blackwell、GB200）。

4.3 DreamerV3：RL 世界模型的通用性证明

DreamerV3 是 Danijar Hafner 提出的通用 RL 算法，证明了世界模型路线的实用性：

核心方法：

• 学习环境的世界模型
• 在”想象”的未来场景中优化策略
• 通过归一化、平衡和变换实现跨域稳定学习

关键成就：

• 单一配置跨 150+ 多样化任务
• 首个从零开始在 Minecraft 收集钻石的算法（无人类数据或课程）
• 无需针对新应用域进行大量超参调优

意义：DreamerV3 打破了”RL 算法需要针对每个域精心调参”的固有认知，证明了世界模型路线可以实现真正的通用性。

4.4 Meta JEPA 系列：非生成式的另一种可能

LeCun 的 JEPA 架构代表了与主流生成式路线的根本分歧：

设计哲学：

• 智能不在于”重建”世界，而在于”理解”世界
• 在表征空间做预测，消除像素级重建的计算浪费
• 自监督学习，不需要人工标注

技术演进：

• I-JEPA（2023）：从单一上下文块预测同图像中多个目标块的表征，ViT-Huge/14 在 ImageNet 上 72 小时训练
• V-JEPA（2024-2025）：扩展到视频时序，学习运动和动态表征
• V-JEPA 2（2025-2026）：加入动作条件，仅 62 小时微调实现零样本机器人部署

关键洞察：V-JEPA 2 的 62 小时微调结果意义重大——它表明一旦有了好的预训练世界表征，迁移到具体任务的成本可以极低。这对资源有限的团队来说是一个重要信号。

4.5 Ha & Schmidhuber（2018）：奠基之作回顾

虽然发表于 2018 年，Ha & Schmidhuber 的《World Models》论文奠定了当前世界模型研究的多个核心思想：

三大原创贡献：

1. V/M/C 分离架构：将感知（V）、记忆/预测（M）、控制（C）解耦，复杂度集中在前两者
2. 梦境训练：Agent 完全在世界模型生成的环境中训练，再迁移到真实环境
3. 温度控制：通过调节模型不确定性温度参数 τ，防止 Agent 利用世界模型的缺陷

今天回看：V/M/C 分离与当前 Agent 三层架构（Model/Harness/Runtime）形成呼应——世界模型是”Model”层的前身，控制器是”Harness+Runtime”的早期形态。温度参数 τ 的思路在当今的 RLHF 和安全约束中仍然有效。

5. 判断框架与实践启示

5.1 世界模型评估三问

面对任何新发布的”世界模型”，可以用三个问题快速定位：

三者覆盖越多，越接近真正的世界模型。当前没有任何系统同时满分通过三项。

5.2 对 AI-SRE 的映射

世界模型三分类法可以直接映射到 AI-SRE（AI 驱动的站点可靠性工程）的能力层：

关键启示：

• SRE Agent 的”世界模型”需要预测的不是物理世界，而是分布式系统的状态演化
• 核心公式适配：P(system_state(t+1) | system_state(t), action(t))
• 数据优势：SRE 领域天然拥有大量 (状态, 动作, 结果) 三元组——告警、处置、恢复记录
• 数据挑战：系统拓扑频繁变更，历史数据的时效性衰减快

5.3 技术路线选择建议

对于不同场景的世界模型构建，基于调研结果的建议：

6. 趋势判断与未解问题

6.1 近期趋势（2026-2027）

1. 渲染器与模拟器融合：Genie 3 已经开始将视觉生成与物理模拟结合，Cosmos 3 也在做类似尝试
2. 世界模型作为 Agent 基础设施：不再独立存在，而是作为 Agent 系统的”环境理解层”
3. 数据飞轮启动：游戏平台（General Intuition/Medal）和自动驾驶（Comma.ai/Wayve）开始产生规模化三元组数据
4. 端侧部署：Comma.ai 证明世界模型可以在消费级硬件上实时运行

6.2 未解问题

6.3 终局判断

世界模型的终局不是三类模型的并存，而是统一的单一基础模型。这个模型将同时具备：

• 渲染能力（可生成视觉可信的未来）
• 模拟能力（可准确预测状态变化）
• 规划能力（可基于预测做决策）

当前的各类系统都是这个终局模型在不同维度上的投影。谁先实现三者的有效融合，谁就拿到了下一代 AI 的入场券。

参考资源

核心论文

• Ha, D. & Schmidhuber, J. (2018). World Models. arXiv:1803.10122
• Hafner, D. (2023). Mastering Diverse Domains through World Models (DreamerV3). arXiv:2301.04104
• Assran, M. et al. (2023). Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture (I-JEPA). arXiv:2301.08243
• Brooks, T. et al. (2024). Video generation models as world simulators. OpenAI

产品与平台

• Google DeepMind Genie 3
• NVIDIA Cosmos
• Ha & Schmidhuber 交互演示

延伸阅读

• Founder Park 万字科普：综合 Packy McCormick & Pim De Witte 长文与李飞飞功能分类
• 李飞飞世界模型功能分类法（渲染器/模拟器/规划器）
• LeCun JEPA 系列论文（I-JEPA → V-JEPA → V-JEPA 2）
• Wayve GAIA-1：自动驾驶领域世界模型
• Comma.ai：首个消费级世界模型产品