世界模型：概念、路线与现状
探索中首发 #世界模型#前沿
“世界模型”（World Model）这个词最近被各家用得很乱：视频生成模型说自己是世界模拟器，机器人公司说自己在做世界模型，强化学习圈二十多年前就在用这个词。这篇不下结论，只做一件事：把概念拆开，看清楚各家说的到底是不是同一个东西。
一句话定义
世界模型是一个能**预测“如果我这样做，世界接下来会变成什么样”**的内部模型。
关键在于两个要素：
- 状态：对当前世界的压缩表示，不一定是像素
- 动作条件下的预测：给定状态和动作，预测下一个状态
只做到“给一段视频续写下一段”，严格说还不够，因为它没有回答“如果我做了不同的动作会怎样”。这是区分各种“世界模型”说法时最有用的一把尺子。
三条主要路线
1. 强化学习里的世界模型：为了规划
这一脉最早，目标很务实：智能体在真实环境里试错太贵，那就先学一个环境模型，在“脑内”推演。
- Ha & Schmidhuber《World Models》（2018）：VAE 压缩画面、RNN 预测下一步潜变量，再在这个“梦境”里训练控制器。这篇让“世界模型”这个词出了圈。
- Dreamer 系列（Hafner 等）：在潜空间里想象未来轨迹，用想象出来的数据训练策略。
- MuZero（DeepMind）：不重建画面，只学对规划有用的量（价值、奖励、策略），说明世界模型不一定要“看起来像世界”。
特点：动作条件明确，能直接用于决策；但通常局限在游戏或特定任务环境。
2. 生成式路线：从视频生成到可交互世界
思路是：用海量视频训练生成模型，模型为了生成合理的画面，被迫学会一部分物理和因果规律。
- Sora（OpenAI，2024）：技术报告直接把视频生成模型称为“世界模拟器”。它能生成物理上大致合理的长视频，但不接受动作输入。
- Genie 系列（Google DeepMind）：从视频中学习“隐式动作”，生成可以用键盘操控的 2D/3D 环境。这一步补上了“动作条件”这个要素。
- NVIDIA Cosmos：面向机器人和自动驾驶的世界基础模型平台，用来生成合成训练数据。
特点：视觉上最惊艳，离“可交互模拟器”越来越近；争议在于模型是否真的理解物理，还是只学到了统计上看起来对的画面。
3. 表征预测路线：不预测像素
以 Yann LeCun 为代表的观点：预测每个像素既浪费又没必要，世界上大量细节本身不可预测（树叶怎么晃）。应该在抽象表征空间里做预测。
- JEPA 框架（Joint Embedding Predictive Architecture）：编码器把输入映射到表征，预测器在表征空间里预测被遮挡或未来的部分。
- I-JEPA / V-JEPA（Meta）：分别在图像和视频上验证这条路线，后续版本开始接入机器人规划。
特点：理论上更省算力、更接近“理解”；但没有生成画面，效果不直观，传播度不如第二条路线。
一张对比表
| 维度 | RL 世界模型 | 生成式世界模型 | 表征预测（JEPA） |
|---|---|---|---|
| 预测什么 | 潜状态 / 价值 | 像素（视频帧） | 抽象表征 |
| 是否以动作为条件 | 是 | 早期否，Genie 类为是 | 可以是 |
| 主要用途 | 规划、训练策略 | 内容生成、仿真、合成数据 | 表征学习、机器人规划 |
| 主要短板 | 环境窄 | 物理一致性、长时稳定性 | 效果难直观评估 |
我目前的几个判断
这些判断都可能被推翻，所以状态标的是“探索中”。
- “世界模型”正在变成一个营销词。 判断一个工作是不是真世界模型，先问：它能不能回答“换一个动作会怎样”。
- 短期最可能落地的是合成数据。 自动驾驶和机器人缺的是长尾场景数据，世界模型生成的仿真数据是现实的商业切入点。
- 生成式和表征式未必是对立的。 一个可能的走向是：表征空间负责规划，生成模块负责把结果渲染给人看或做数据增强。
接下来要做的
- 精读 Ha & Schmidhuber 2018，用小游戏环境复现 VAE + RNN 的基本结构
- 整理 Genie 系列的“隐式动作”是怎么从无标注视频里学出来的
- 跑一个开源 V-JEPA 检查点，看看它的表征能做什么下游任务
- 补一篇：世界模型怎么评估？（物理一致性、可控性、长时稳定性）
参考
- David Ha, Jürgen Schmidhuber. World Models. 2018. worldmodels.github.io
- Danijar Hafner et al. Dream to Control / Mastering Diverse Domains through World Models（DreamerV1–V3）
- Julian Schrittwieser et al. Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model（MuZero）. 2020
- OpenAI. Video generation models as world simulators. 2024
- Jake Bruce et al. Genie: Generative Interactive Environments. 2024
- Yann LeCun. A Path Towards Autonomous Machine Intelligence. 2022