导入MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

世界模型背景下的多主体问题

CAUSALVIDEOGROUP · READING GROUP

世界模型背景下的
多主体问题

Multi-Agent Problems in World Models

Yuxin Wang2026.10.26

导入MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

今天的六个部分

从 LAM 切入，逐步看视频世界模型中的多主体问题。

01多主体动作学习

02多主体控制

03他者行为与反应

04视频想象辅助合作规划

05共享世界与持续性

06主体数量泛化与扩展

七篇重点论文；其他工作用于补充不同思路。文献截止：2026.10.23。

导入MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

先用一页理解 LAM 在学什么

视频有画面变化，却往往没有对应的动作标签。

任务目标从视频中学习能表达动作／动态变化的潜在表示，用于预测与控制。

是学出的内部表示；训练时可用后续帧推断变化，再用当前帧与这份表示预测后续。

如果画面里有多个主体同时行动，这份表示该怎样分开？

01 动作学习MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

一个向左走，一个跳起来：动作怎样分别学？

已知：前后视频帧。未知：每个主体自己的动作标签。

要解决的问题

两路变化同时发生，能否分别表示，而不是全部混在一个潜动作中？

目标与边界

希望得到可分别改变的表示；但学出的因子未必一一对应真实主体。

01 动作学习MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

FLAM：让这个例子走完训练流程

视频里发生的两路变化，怎样经过分解、动作推断，再回到画面？

关键关系前后因子表示帮助推断各自的 z；预测时仍使用完整当前场景与这些 z，输出一幅共同画面。

图中按两路画出便于理解；模型可能合并相关实体，因子不保证等于agent。

01 动作学习MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

FLAM：在原方法图里找到这三步

把刚才的分解、潜动作和共同预测，对应到论文的实际模块。

01分解画面得到场景 slots

02推断动作前后 slots → 各因子潜动作

03预测画面当前场景＋各潜动作 → 下一帧

分别表示，不是彼此隔离

提供分开的表示位置；动力学仍可参考全部当前slots，保留交互信息。

训练：未来帧用于推断潜动作。
输出：各因子表示及重建／预测的未来画面。

01 动作学习MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

看一个动作通道是否能单独改变

FLAM 的定性证据：改变蓝色实体的潜动作，观察生成轨迹。

这个例子说明什么

选定的动作表示可以改变对应部分的运动，提供“分别建模”的直观证据。

读图时保留一个条件

其他实体沿用原视频推断的潜动作；这还不是其他agent自主决定反应。

分解也有边界：共同运动的实体可能进入同一个factor。

01 动作学习MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

补充两种分解单位：对象与粒子

共同点是分别建模视觉变化；分开的单位和动作表示并不一样。

PlaySlot · 对象级

对象slots → 推断各对象潜动作 → 预测slots并解码视频。
动作表示：离散原型＋连续变化量。

LPWM · 局部粒子级

→ 随机潜动作 → 未来粒子与视频。
补充思想：通过采样表示局部运动的不确定性。

PlaySlot的多实体证据包含简单运动对象；LPWM的粒子不保证对应完整主体。

01 动作学习MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

变化可以分组，但分组不一定是多主体

两篇背景帮助我们看清边界，不作为独立多agent控制的主要证据。

背景工作	实际处理方式	与本节的关系
OTF-LAM	局部视觉变化 → 共享原语 → 状态条件聚合	最后仍汇总成一个潜动作
GDLAM	多组潜表示＋空间门控，分担变化	分组不保证对应各agent

本节结论从“整场景一个动作”走向“多个变化通道”，但通道与主体的对应需要具体判断。

下一步：如果各人的动作已经给定，怎样控制到正确角色？

02 多主体控制MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

指令没变，为什么动起来的是另一个人？

与上一节不同：现在明确给定A和B各自的动作，不再从视频里发现动作。

需要检查A的指令是否一直作用于A，B的是否作用于B；“两个角色都动了”并不足够。

输入是历史画面、各自动作和方法所需主体信息；输出是各角色正确执行控制的未来画面。

02 多主体控制MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

ActionParty：沿着一个角色追踪它的指令

动作条件先关联主体状态，再利用空间信息影响视频中的相应角色。

两个关联“这是谁的动作”由动作与主体状态联系起来；“他在画面哪里”由空间信息联系起来。

输出同时包括视频与主体位置。图中箭头是讲解用的条件传递，不表示把两个角色独立生成后贴回画面。

02 多主体控制MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

ActionParty：原图里的两种绑定

动作与主体、主体与空间的联系，落实在视频和状态的共同预测中。

01主体状态为每个角色保留状态表示

02动作绑定各自动作关联到各自状态

03空间绑定用位置信息影响对应区域

ActionParty Fig.2 · 视频tokens与主体状态tokens共同预测

核心流程

已知动作与当前主体状态 → 联合更新主体状态和视频 → 下一段继续保持对应。

训练含动作与坐标监督。
不是从无标签视频自动发现的真实身份。

02 多主体控制MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

看结果时，同时看动作与角色位置

同一张图中，动作标注、角色编号与预测位置需要一起读。

读图顺序

先选一个角色 → 找它的动作标注 → 观察后续画面与位置预测。

主要证据是什么

这些实例展示多主体控制和状态预测；不是只靠图像质量评价动作是否执行正确。

不同游戏和人数设置不等于“只用少人数训练、任意人数推理”的验证。

02 多主体控制MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

Incantation：把动作接口写成逐角色语言

补充问题：指令怎样表达，动作语义能否跨角色复用？

01输入视频历史＋各角色动作文本

02输出按角色条件继续生成视频

与 ActionParty 的分工

ActionParty突出“动作控制对人”；这里突出“动作如何表达与复用”。

逐角色语言槽使动作条件更明确；训练仍使用动作监督。

如果只给自己的动作，其他角色的下一步行为从哪里来？

03 他者行为MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

只给自己的动作，其他人怎么办？

条件改变了：外部不再指定每个角色的下一步动作。

共同目标输入仍有自己的动作，但输出还要包含未指定的他者行为。B可以有多种合理反应。

两条路线：把行为学进视频预测；或显式理解状态、决定动作。

03 他者行为MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

COMBAT：B 的行为就在生成画面里

看一个简化例子：只告诉模型A向前／出拳，B的反应随视频一起产生。

核心机制从视频中的互动模式学习预测；生成器直接输出包含双方行为的画面。

图中“B后退”只是一个可能结果；不是必然反应，也不是额外输出的动作标签。

03 他者行为MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

COMBAT：在预测视频时隐式产生对手行为

Tekken 3：只以 Player 1 的动作作为动作控制条件。

01输入画面历史＋己方动作

02视频预测生成下一段游戏画面

03他者行为对手的行动随画面产生

关键选择

不单独预测并输出一个对手动作指令，再把它交给生成器。对手行为被包含在视觉动态中。

原文包含RGB与RGB＋pose版本。
未来帧是训练目标，对手动作没有作为策略条件输入。

03 他者行为MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

COMBAT 的行为证据，具体测了什么？

作者使用动作数量与拳／腿比例，比较生成片段和原始游戏片段。

怎样读这张图

横轴是训练阶段，纵轴比较动作比例。接近1表示拳／腿比例更接近原始片段。

它支持的范围

能观察行为统计是否相近；仅凭这个指标，还不能证明对手学会了通用战术决策。

另有动作总量与血量变化等评价。将RL用于目标导向策略训练仍列为后续工作。

03 他者行为MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

WorldMind：把“B 做什么”显式选出来

同样没有外部指定B的下一步；这次先选动作，再让视频模型执行。

为什么拆开位置从画面判断；技能是否可用从记录计算。决策选出的动作，再转换为有时间对应的生成条件。

这里的技能与后退动作是说明接口的假设例子，不对应论文中的一条实测轨迹。

03 他者行为MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

WorldMind：先决定 NPC 动作，再生成画面

把“当前是什么状态、NPC该做什么、画面如何变化”分别处理。

01理解状态画面＋技能历史

02决定动作状态＋技能机制 → NPC计划

03转换条件把动作对齐到生成时间段

04生成画面结果再回到状态理解

两种状态来源

几何关系从生成画面估计；技能历史和冷却由动作记录计算。

决策由语言模型结合技能信息完成。几何分支训练使用引擎状态标注；推理不直接读取真实引擎几何。

03 他者行为MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

沿一个案例读完状态到行为的全过程

关注信息怎样传递，不必把整张图的术语一次记住。

读图顺序看空间与技能状态 → 看所选NPC动作 → 看生成条件 → 看下一段画面。

案例帮助理解接口；是否做出合适动作，还依赖状态估计、技能描述和生成执行。

03 他者行为MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

两种行为来源，各自把什么交给模型？

COMBAT 与 WorldMind 都保留为重点，比较任务组织与信息条件。

比较项	COMBAT	WorldMind
他者动作在哪里产生	隐含在未来视频中	显式决策模块先选动作
主要额外接口	己方动作条件；可加入pose	紧凑状态、技能机制、动作转换
重点理解	视频预测能学到哪些行为模式	状态理解与决策怎样接入生成

这是机制对照，不是同数据、同环境的性能排名。两者也不构成必须先后使用的系统。

知道他者可能怎样行动之后，怎样帮助自己选择合作动作？

04 合作规划MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

能预测后果之后，还要选择自己的动作

自己只看到局部场景，也不能预先知道伙伴的全部行动。

问题所在不是替伙伴下指令，而是在不完全知道伙伴行动时，选择自己的下一步。

COMBO：将视频世界模型作为合作规划中的预测工具。

04 合作规划MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

COMBO：让两种选择各自“发生一次”

沿同一个备物场景，区分预测未来的输出和规划选择的输出。

图里的两个输出视频模型给出两份候选后果；评价与搜索帮助A选择自己的动作。

伙伴动作是推测条件，画面也是预测。真实执行后要重新观察，不能把想象当成保证。

04 合作规划MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

COMBO：组合多个动作条件，生成共同后果

当前视觉场景＋各主体文本动作 → 一份未来视频。

核心做法

把联合动作拆为逐主体文本条件，组合对应的扩散预测，生成这些动作共同作用的后果。

发生在生成过程内部。
训练也包含联合动作条件阶段，不是完全免去交互数据。

输出用途这份视频接下来用于评价候选行动，帮助选择计划。

04 合作规划MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

COMBO：让视频预测进入选择循环

观察、提出候选、推测伙伴、想象结果，最后执行自己的动作。

核心流程局部观察 → 场景估计 → 候选／伙伴动作 → 未来视频 → 评价与搜索 → 自身动作

场景估计采用投影和补全的顶视表示；生成模型是规划的一环，不负责独自完成所有决策。

04 合作规划MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

看一个规划例子：想象怎样影响选择

原文用不同搜索预算下的计划，展示想象与选择的关系。

读图重点

从任务目标看：候选计划如何变化？想象的后果为什么会影响自己的选择？

要区分的两个输出

视频模型输出可能后果；规划过程输出要执行的动作。

这里无需展开低层机器人控制。我们关心的是视频预测如何被用于合作决策。

不同候选动作可以有不同未来；同一次未来的多个视角则要相容。

05 共享世界MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

A打开了门，B看到的门也应当打开

固定同一次行动，从两个人的视角生成两份视频。

这里的一致不是两张画面相同，而是共同事实相容：同一扇门、同一时刻、同样的开关状态。

输入：各主体的初始观察与动作。输出：各自视角下的后续视频。多视角相容不等于所有物理过程都正确。

05 共享世界MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

从一扇门，扩展到共享世界的三类检查

论文检查动作、环境与互动后的状态能否跨视角对应。

动作一致性

同一主体在各视角中的动作应当对应。

环境一致性

共同区域的布局与场景应当对应。

状态更新一致性

互动后产生的变化，应在各视角中相容。

05 共享世界MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

ME-World：共同生成，而非事后对答案

每一路都保留自己的视角，同时参考所有主体的动作与共同历史。

自绘方法简图 · 依据 ME-World §3；开门仅用于解释条件怎样进入生成过程

核心流程把动作表达在各个目标视角中，再结合共享环境历史，联合更新多路视频。

不意味着输出同一张图。未来身体／头部动作是给定条件，不是由该方法自主选择。

05 共享世界MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

共同知道“他在做什么”和“那里原本有什么”

在论文原图中，对应两条进入联合生成过程的信息来源。

所有人的动作 → 各目标视角

生成A的视角时，不仅知道A的动作，也接收B运动在这个视角中的表达。

共同历史 → 环境记忆

利用几何对齐的历史画面，为当前视角提供场景参考。

一个约束当前交互，一个帮助延续环境状态；两者不能互相替代。

05 共享世界MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

用同步视角检查共享事实

看两路视频中的人物、场景和互动结果，而不只看单路清晰度。

读图建议先看 GT 与 Ours 两列，在同一时刻对齐两路视角，再观察人物与共同场景。

论文另以环境、状态更新与身份等指标评价。这里的实例限作者测试场景，不推断任意人数能力。

05 共享世界MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

补充：离屏状态与分布式生成

它们都服务于共享世界，但改变的是不同条件。

OverSeer：增加固定参考

例如角色转身后门暂时离开画面：额外生成固定辅助视角，帮助延续离屏变化与重访状态。

辅助相机不是额外agent或动作流；其画面也是预测。ME-World本身已有共享记忆。

WorldCast各客户端生成本地视频，交换玩家状态与场景记忆；是同一目标下的分布式实现路线。

少量参与者共享世界以后，人数增加还能保持这些能力吗？

06 数量泛化MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

训练只有两个人，使用时来了四个人

新增C、D之后，每个人仍须对应自己的动作、身份和视角。

希望保持A的动作仍属于A；C、D有自己的控制与输出，同时大家仍能发生交互。

人数指主动主体数，不是多加几台相机。难点先是身份和条件能否扩展，然后才是计算成本。

06 数量泛化MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

Gamma-World：给新主体身份，也给它交流通道

每个人保留不同的输入与输出，通过共享表示交换相关信息。

自绘方法简图 · 依据 Gamma-World §3；身份数量与分配结果仅为示意

两件事从预设身份池分配不同编码；主体间通过共享hub交换信息，避免全部视频tokens两两直连。

训练随机指派池内身份；测试更多主体使用更多池内身份。共享通道不是额外agent，也不是把各人的内容平均成一份。

06 数量泛化MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

回到原图：身份编码与共享hub各做什么

一个区分主体，一个组织跨主体信息交换。

身份表示

对称关系的身份编码：区分不同人，同时避免把固定槽位绑定成固定角色。

跨主体交流

在少量共享表示中汇集与传递信息，各主体仍保留自己的表示。

身份池受编码维度限制，并非无限；也不据此宣称任意主体实时加入退出。

06 数量泛化MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

人数泛化的一个实际测试：2 → 4

作者报告：两主体训练后，生成四主体的同步视角视频。

Gamma-World Fig.5 · 四主体生成例子，行对应主体，列沿时间推进

主要看什么新增主体是否有自己的视角与控制，同时仍能处在共同场景中。

这是论文测试范围内的例子。计算成本随人数变化的曲线，不等于各人数的生成质量都已验证。

06 数量泛化MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

Multics：人数多了，信息也要有组织

例如A、B一起开门，C、D一起搬箱；两件事可先各自处理，再交换相关信息。

01玩家保留各自信息

02分组组织相关交互

03全局交换跨组共同信息

分组会随交互调整

如果搬箱者准备穿门，两个事件变得相关，就需要交换跨组信息。此处为解释分组的自拟例子。

人数扩展既依赖可泛化的身份表示，也依赖有效的信息组织。

讨论与阅读MULTI-AGENT WORLD MODELS · CAUSALVIDEOGROUP

现在再把六个问题放在一起

关键区别：外部给了什么，模型需要补出什么，结果用来做什么。

问题	主要已知条件	需要得到什么	重点阅读
动作学习	视频；缺逐主体动作标签	分别表示各实体动作／运动	FLAM
多主体控制	各人的动作或指令	正确角色执行各自控制	ActionParty
他者行为	己方控制；他者未完全指定	产生他者后续行为	COMBAT / WorldMind
合作规划	局部观察与合作目标	借助预测选择自身动作	COMBO
共享世界	同一世界、各视角及动作	多路视频中的共同事实相容	ME-World
数量泛化	训练少人，测试更多人	保持身份、控制与信息交流	Gamma-World