VISIBLE CLIP
短视频
画质、运动、文本对齐、可见帧之间的连续。
这段视频的可感知质量如何？
Video generation benchmark evolution
从视频分数到世界一致性
AR／长视频评测为何持续增加针对性指标？到了 video world model，哪些问题已能测量，哪些仍缺乏有效协议？
Yichang Jian · 2026.08.10 · 66-paper data audit
WORLD
STATE
STATE
基于内部数据审计
01 · The evaluation target moved
评价对象已发生变化，评测指标尚未同步
LONG ROLLOUT
长视频
误差累积、身份漂移、重复、坍缩与历史退化。
它能否一直生成下去？
PERSISTENT WORLD
世界模型
相机与动作改变后，几何、记忆和隐藏状态仍需自洽。
这还是同一个世界吗？
02 · Evidence boundary
证据边界与数据审计口径
66papers
覆盖 AR、长视频、叙事与世界模型
覆盖 AR、长视频、叙事与世界模型
137evaluation runs
每行是一套可复现设置
每行是一套可复现设置
780metric-use atoms
精确到测量方法与聚合
精确到测量方法与聚合
31human protocols
设计、工作量与 tie 分开记录
设计、工作量与 tie 分开记录
35 video / long25 world model6 narrative / other
来源00_README · 01_Paper_Index · 03_Eval_Runs
03 · Three evaluator families
三类评测不是替代关系，而是一条证据链
Deterministic / specialist
传统自动指标
DINO、CLIP、像素差、光流、深度、位姿、重建误差。
便宜、稳定；只看得到预先定义的信号Generalist semantic judge
VLM-as-judge
人物属性、叙事关系、物理异常、交互结果与复杂 rubric。
覆盖面大；提示、采样、模型版本都是 metricTarget calibration
人工评测
偏好、排序、绝对评分、真实辨别，以及难例上的分歧解释。
最接近目标；昂贵且协议不可随意合并数据04_Metric_Uses · 06_Human_Eval
04 · Prompt lineage ≠ metric lineage
Prompt 的选择协议决定实验可比性
17 / 35
MovieGen prompts
常见的 1,003 条人写 prompt pool。它没有 canonical metric。
×
30 / 35
VBench metrics
forcing／长视频论文的主流 metric lineage，但经常不使用 VBench official prompts。
CausVid
前 128 条
前 128 条
Rolling Forcing
随机 200 条
随机 200 条
Self Forcing human
全部 1,003 条
全部 1,003 条
05 · What classic metrics actually see
VBench 的 consistency，首先是可见画面上的 proxy
DINO
Subject Consistency
比较相邻帧与首帧的视觉特征余弦相似度。
外观／结构接近CLIP
Background Consistency
跨帧 CLIP 图像特征相似，意图反映背景稳定。
语义外观接近Δpx
Temporal Flickering
在低运动帧上算相邻像素差，再转成无闪烁分数。
局部亮度变化AMT
Motion Smoothness
用插帧先验重建中间帧，聚合插值一致性。
局部运动可插值性VBench04_Metric_Uses
06 · The static-video loophole
局部一致性指标可能将静止误判为稳定
真实稳定
身份保留，状态继续
身份保留，状态继续
冻结
高相似，低动态
高相似，低动态
循环重复
局部顺滑，世界不前进
局部顺滑，世界不前进
缓慢漂移
每步都小，累计很大
每步都小，累计很大
审计警告09_Alerts · VBench on long videos
07 · Long-video metric extensions
长视频评测持续增加针对性指标，尚未形成新标准
2025
Rolling首 5 秒 vs 末 5 秒Imaging Quality 差
2025
Self-Forcing++Gemini 看采样帧判断 drift／collapse
2026
LoL到 sink／初始帧的normalized L2 collapse
2026
ContextDINO identityCLIP-F context
2026
Relax / Ms.漂移 × 重复平衡分段 IQ 波动
2026
TinyHistory属性级 VLM gate+ FaceID
04_Metric_Uses共同问题：custom definitions are not standardized
08 · VLM-as-judge
VLM 扩展了判断范围，也增加了协议依赖
同一个人物的脸、衣服、身体结构，一分钟后还一致吗？这类属性级问题比 CLIP 相似度更接近人类描述，也更依赖判断器的语言与视觉能力。
采什么帧均匀、事件附近、首尾，还是分段抽样？
怎么提问绝对分、二元题、属性 gate，还是 pairwise？
锁哪个版本模型更新会让同一视频得到不同分数。
怎么校准对齐人类排序，还是只看平均相关？
证据边界 Self-Forcing++ 的 judge validation 是 2 位论文作者 × 20 prompts；它支持该样本范围内的排名，尚不足以证明普遍有效性。
09 · Human evaluation
人工评测也不是一个统一的数字
PAIR
2AFC强制二选一；输出 win rate，不能表达绝对质量。ORDER
Rank一次排序多个模型；认知负荷和候选集合会影响结果。SCALE
Likert绝对打分；不同评分者的尺度需要校准。ARENA
Elo / BT由 pairwise 结果拟合相对强度；依赖配对图与更新规则。TIES
GSBGood／Same／Bad；tie 的编码会改变最终估计。REALITY
Real vs Gen测可辨别性，不等同于文本对齐或世界一致性。31 protocols06_Human_Eval · 09_Alerts
10 · What later work refutes
后续工作限制了 human alignment 结论的适用范围
Human alignment 同一问题、同一样本、同一聚合层级下，metric 分数与 human judgment 的偏好或排序一致。
VBench · 局部命题
逐维验证可见质量
每个 dimension 配自己的 prompts、metric 与 human preference。
成立范围：原 16 维
→范围外推失败
VBench-2.0 · 范围反驳
可见质量 ≠ 内在可信
旧维度分高，仍可能违反 physics、commonsense 与 human fidelity。
反驳：superficial → intrinsic
→目标外推失败
SGC · 目标反驳
背景相似 ≠ 3D 稳定
当人只判断静态背景几何，VBench-BC 的对齐明显下降。
Spearman ρ .400 → .945
→条件外推失败
MBench + STEVO · 条件反驳
对齐随接口与判据变化
同一 epipolar metric 在 text／action setting 下差异巨大；还要与人际一致率比较。
ρ .16 ↔ .94 + V-H vs H-H
结论 不能只写“与人类高度一致”；必须同时交代 rubric、distribution、H-H ceiling 与高难样本分歧。
11 · From description to intervention
世界模型把 caption 变成了 intervention
Open-loop video
描述内容
人物、场景、动作、风格和镜头语言。采样后主要判断结果与文字是否匹配。
a red car turns left
under the rain
under the rain
→
Interactive world
干预状态
相机路径、动作序列、回访轨迹、遮挡、关灯与事件触发。条件本身定义了因果测试。
look away 4 s → object evolves
return to pose p₀ → inspect state
return to pose p₀ → inspect state
12 · Benchmark frontier
Benchmark 的目标正从感知质量扩展到功能效用
2023
VBench可见质量、运动、语义条件与逐维 human alignment。2025
VBench-2.0Physics、commonsense、human fidelity 等 intrinsic faithfulness。2025
WorldScore用相机轨迹定义 next-scene generation，统一多种 world generation。2026
WorldArena把感知质量连接到 data engine、policy evaluation 与 planning。2026
WorldExam从 visual 与 control 推进到 spatial consistency 和 world reactivity。13 · Three advanced consistency axes
三种 consistency 回答三个不同问题
⌘
3D consistency
不同视角是否能被同一几何解释？
对应约束 · 深度／点云 · 3DGS 重建↩
Revisit consistency
离开并回来时，旧地点与状态是否被正确恢复？
loop closure · pose-matched pairs · return-view fidelity◌
Out-of-sight
对象不可见时，隐藏状态是否继续正确演化？
occlusion · lights-off · look-away · reappearance state14 · Three families of 3D evaluation
3D consistency 的评测方法可分为三类
图像对应约束
在帧间建立像素或特征对应，检验这些对应是否满足同一相机几何。
Epipolar constraint · Sampson error · reprojection error代表：WorldScore
深度／点云几何
估计深度、point map 与相机，将多个视图投影到共同三维坐标系后比较。
Point-cloud alignment · cross-view warping · MEt3R代表：MEt3R
逐视频 3DGS 重建
用生成视频拟合 3DGS，再在未参与拟合的视角上验证重建一致性。
3DGS · held-out-view PSNR／SSIM／LPIPS代表：Cosmos-Predict1
共同边界 DINO／CLIP 相似度与 VLM 判断可以作为补充证据，但不构成三维几何测量。
15 · Revisit consistency
Revisit 不是简单比较开头和结尾
pose p₀
leave
return
轨迹先定义回访cycle、out-and-back 或 pose proximity + temporal separation。
返回视图提供多种证据PSNR／SSIM／LPIPS、DINO／VPR、SuperPoint、MEt3R。
证据等级必须分开自动量化、人工 memory score、定性 return demo 不能混算。
首尾 CLIP drift 只能说变了多少它不知道镜头是否真的回到同一个地点。
16 · Dynamic out-of-sight consistency
Out-of-sight 评测关注不可见期间的状态演化
◒
初始状态冰块开始融化，水位与形状可观测。▧
控制观察遮挡、关灯，或相机 look away。⋯
隐藏演化物理过程应继续，而非依赖画面被观察。◕
重新出现状态要匹配经历的时间与过程。×
失败谱freeze · reset · skip · plausible hallucination17 · Algorithm-paper incidence
算法论文已经开始测 3D 和回访，却还没有测隐藏动态
25world model / prediction papers
只计论文自己实际运行的协议
只计论文自己实际运行的协议
Strict quantitative 3D
5 / 25
Automatic revisit
6 / 25
Human / qualitative revisit
1 + 2
Dynamic out-of-sight
0 / 25
Scope caveat：不把 leaderboard 分数当作算法论文自跑证据11_WM_Consistency_Audit
18 · Recommended direction
建议聚焦动态实体级 out-of-sight，而非构建综合基准
做一个动态、实体级
out-of-sight
诊断 benchmark
out-of-sight
诊断 benchmark
核心榜：可控世界模型相机／动作明确，遮挡与回访可复现，因果干预成立。
独立 stress track：T2V／I2V用结构化脚本控制可见性，但不与交互模型混榜。
报告 failure vector状态、身份、几何、进度分别报告，不立即聚合为总分。
19 · Focused evaluation protocol
聚焦且可审计的协议，优于宽泛而松散的指标集合
INTERVENTION
匹配可见／不可见轨迹
同一过程只改变遮挡、灯光或相机朝向。
STATE
结构化状态标签
实体身份、阶段进度、位置、形状与几何。
SPECIALIST
可审计自动指标
分割、跟踪、pose、重建与过程特定测量。
SEMANTICS
VLM 处理剩余语义
固定采样、rubric、模型版本与缺失对象规则。
CALIBRATION
人工只审分歧样本
按 failure type 报告 human–metric disagreement。
建议输出state accuracy · memory · geometry · artifact · disagreement
20 · Takeaway
评测目标应超越表面视频质量
分开 metric lineage 与 prompt lineage
承认 DINO、CLIP、VLM 都只是证据，不是世界本身
去测 镜头离开后，世界是否还记得自己，并继续发生
Discussion decision是否把动态 out-of-sight consistency 推进到问题定义与数据小试？