CausalVideoGroup · 2026.08.24
谁在教生成模型物理？从外部模拟、显式控制，到训练内化与推理时修正。
Yuxin Wang · Group Discussion
The opening tension
单帧可以逼真，连续演化仍可能违背重力、接触、守恒与材料响应。
落体突然悬停、上升或加速度漂移。
接触后方向、速度或形变没有因果响应。
液体或物体凭空增减、分裂后体积异常。
物体越过边界，却没有遮挡或反作用。
人体或物体失去支撑后仍维持原动作。
Definition
x(t), v(t), a(t)F = maΔQ ≈ 0state → state'The landscape
不是一条“外部 → 内部”的替代史，而是多种知识来源与作用位置持续扩展。
Source × stage
| 知识来源 ↓ / 进入阶段 → | 生成前规划 | 训练 / post-training | 生成中控制 | 推理后评价 / 修正 |
|---|---|---|---|---|
| 模拟器与显式状态 | 初态 → 轨迹 | 模拟数据 / 属性 | flow / track / map | 重建再模拟 |
| VLM / 视频理解模型 | 事件与粗轨迹 | 表征 / reward | 提示与 guidance | judge / verifier |
| 真实或模拟视频 | — | SFT / preference | — | 真实未来参照 |
| 人类与模型反馈 | 规则描述 | DPO / RL | 在线选择 | 排序与重试 |
| 可测量物理规律 | 方程先验 | loss / reward | 约束引导 | 定律残差 |
Audit lens
只说明组合后的输出改善，无法定位知识来自哪里。
需要权重层面的改变，以及对未见条件和受控干预的稳定响应。
Part I · Explicit control
先得到物理上可接受的运动骨架，再把视觉真实感交给生成器。
External simulator
State identifiability
从单图构造 3D Gaussian，并以连续介质 / MPM 模拟中间运动，再用扩散模型细化外观。
Outcome vs cause
mask sequence · depth / edge · optical flow · 2D / 3D trajectory
位置 / 速度 · force · mass · friction · restitution · material
Boundary case · InterDyn
VLM planning
Learned dynamics
Training transfers simulator knowledge
Part II · Training and inference
五种监督接口作用于权重；推理策略则在不改权重时改变系统输出。
Controlled post-training
训练高度、速度与外观附近，行为改善最明显。
未见高度和速度下，轨迹外推并不稳定。
一个落体行为不能证明可组合的通用物理。
Physics curriculum
把定律拆成文本描述、定性类别和定量属性；camera-ready 使用 WISA-80K。
系统改变初态与参数，得到可配对、可测量、可干预的训练样本。
为局部时间块描述状态、交互与约束；推理时加入负物理提示。
LLM 生成物理上下文，MLLM 提供训练监督，共同微调视频扩散模型。
Representation alignment
Preference and reward
Verifiable reward
Δv / Δt ≈ const.m(t) ≈ m(0)residual → 0Latent physical state
联合像素与多种 foundation-model feature，把几何、语义和时空知识整合为 world representation。
不只预测未来画面，同时预测 latent physical dynamics，让控制演化的状态进入模型预测对象。
latent 对应哪些状态或属性？
改变质量、力或材料能否定向改变未来？
换外观后，动力学机制是否保持？
Inference-time alignment
以 latent world model 的预测 surprise 评价候选，并支持 Best-of-N 与梯度引导。
从中间 DiT 特征识别 plausibility，早停低分去噪轨迹。
Sampling dynamics
先从少步轨迹抽取 motion prior，再以 latent delta guidance 注入完整去噪。
复用生成器作 denoising autoencoder；以 predict-and-perturb 内循环，并按 uncertainty 选择性精炼。
Synthesis
| 路线 | 改变了什么 | 主要证据 | 仍不能证明什么 |
|---|---|---|---|
| 物理数据 | 生成器权重 | 行为与 benchmark 改善 | 跨规律的通用机制 |
| 表征对齐 | 中间表征 | 时空 / 物理分数改善 | 可解释物理状态 |
| preference / reward | 生成器权重 | 偏好与指标提升 | evaluator 之外的泛化 |
| latent dynamics | 预测对象 | latent 与视频表现改善 | 稳定、可干预机制 |
| inference-time alignment | 搜索 / 采样 | 系统输出改善 | 权重内化物理 |
Part III · Evaluation
给 prompt，看最终视频是否语义正确、物理合理。
给初始帧或前缀，与真实物理实验的未来比较。
提取运动，计算方程残差、守恒量或不变量。
比较模型对合理 / 不合理视频分配的概率。
先验证 VLM 或自动 metric 是否能识别真实物理。
Open-world judgement
先拆语义遵从与物理常识；再扩展到动作中心、细粒度规则和难例。
覆盖力学、光学、热学与材料属性；以关键现象、时序和整体自然度分层判断。
从基础运动到复合、人 / 动物与 anti-physics 提示，扩大开放场景覆盖。
Three different questions
构造视觉匹配的 valid / invalid 视频对，比较扩散模型自身的 likelihood preference。
Benchmark audit
samples 涉及至少一种潜在测量错误
prompts 不清楚（34.8%）
Original / Verified 六模型排名一致性
avoidrequiredN + costseparatetriangulateTakeaway & discussion
作为可解释的显式条件，还是隐含在生成模型 latent 中？
representationinference-time 搜索生成更合理的视频，应该算模型能力还是系统能力？
model vs system能否固定场景，只改变 force、mass、friction，检验结果是否按规律变化？
controlled intervention