Causal Video Group · Literature Review
From Joint Denoising to Online Directing · 2023–2026
好镜头只是起点：
变化要有镜头语言，一致性要跨越 cuts。
01 · Task boundary
long video 强调持续时间；multi-shot 强调镜头边界与镜头间依赖。
scene 是叙事时空单位，一个 scene 可以包含多个 shots。
本报告限定为显式建模 shot boundary 与 shot-level dependency 的视频方法。
02 · Unified framework
前三类看 shots 如何生成、历史怎样进入视频模型；第四类看模型外部怎样规划、检查与纠错。
一个双向模型，一次调用联合生成全部 shots。
模型多次调用，每轮生成一个完整 shot。
按 frame / chunk 因果 rollout，复用有界状态。
模型之外规划、管理参考、检查、重试。
PART I
所有 shots 在一次调用中双向统一去噪
04 · Evolution
Caption–shot alignment
同时满足两件事：每个 shot 只接收自己的 caption；所有 shots 仍能共享视觉信息来保持一致性。
只在部分 DiT 层使用 visual block-diagonal mask：被遮罩层强化 hard cut，未遮罩层继续跨 shot 传递全局信息。
Global–Local Shot-Aware Mask：人物、故事与转场文本对全部 shots 可见；摄影和相机描述只对所属 shot 可见。
Caption–shot alignment
local (t,h,w) + Δ₁local (t,h,w) + Δ₂local (t,h,w) + Δ₃SaRoPE 标记 shot-local time 与 cut；TaRoPE 让 caption 与视频区间共享 shot identity。
Narrative RoPE 用固定 phase shift 标边界；STPA RoPE 将 reference 绑定到指定 shot / time / region。
Caption–shot alignment
K 个 shots 对应 K−1 个 Transition Token；数量只是接口关系，重点是 TT 与 local mask 的分工。
关键消融：去掉 TT、保留 local mask，仍能生成 multi-shot。
TT 是控制手柄而非唯一来源；训练仍以人工拼接的 2–3-shot 为主。
Scaling the joint context
数据按约 5 / 15 / 60 秒分档；最长训练样本最多包含约 13 shots。不是推理硬上限。
shot 内保持 dense attention；跨 shot 只用代表 / summary tokens 双向通信，降低全序列平方开销。
Beyond generation structure
cut-in / cut-out / shot-reverse-shot / multi-angle + 6-DoF camera。
PART II
每次 diffusion sampling 生成一个完整 shot
Memory evolution
Global yet compact history
当前 caption 作为 query，从所有历史 shots 选择语义相关帧；不等同于只取最近一镜。
按重要性 adaptive patchify，把视觉上下文压成 memory tokens，再与当前 noise tokens concat。
Dual-level cache
T2V · new shot · shot extension · full-cache extension。
Reconstruction-supervised memory
找身份最稳定、跨距最远的 evidence。
找动作、姿态与局部 continuity cues。
Memory becomes state
PART III
按 frame / chunk 因果 rollout，边生成、边输出
One-slide prehistory
有关 forcing 系列的公式、训练阶段与技术演进，
详见下面的组内分享。
Teacher → causal student
稀疏历史帧 + global / local captions
双向去噪一个完整目标 shot
DMD 把约 50 步 teacher
蒸馏为 4-step causal student
shot 间逐镜追加
shot 内按 chunk 因果输出
跨镜头稀疏帧
当前镜头近期 chunks
在 cut 处引入位置相位跳变，避免把跨镜头全局帧误当成当前镜头的连续前帧。
先适应当前 shot 内自己的 chunk 历史，再适应由自己生成的历史 shots。
Native causal prior
真实 multi-shot long video
parallel teacher forcing
CAMR 从远程 KV 中
检索当前内容真正相关的部分
ODE initialization
→ self-forcing DMD + adversarial
固定 KV 预算下，远程历史按内容相关性保留；近期历史继续承担局部连续性。
Runtime shot switching
有效 KV：global sink ∪ current shot sink ∪ recent sliding-window history。
永久保留视频最初的少量帧，提供跨镜头身份锚点。
prompt 切换时，将新镜头开头重新绑定为局部锚点；旧历史与 global sink 不重算。
每个 latent chunk 绑定独立文本，在真实 multi-shot 长视频上直接学习 clean-history → noisy-target。
PART IV
在视频模型之外，决定怎样拆分、生成、检查与重试
shots · assets · camera
character · prop · bg
joint · shot-AR · causal
verify · repair · update
Decision loop evolution
成片通常不会反过来修改原计划。
决策进入生成过程，但主要是局部选择或外部状态维护。
生成结果直接改变后续策略。
Plan first, render later
Training-free keyframe-first pipeline
Persistent external assets
identity + age / costume state
object appearance + attributes
recurring environments
Generated frames become evidence
choose best anchor shot
create candidate frame / shot
entity grounding quality
reference memory
No single SOTA
| 维度 | Holistic joint | Shot-level AR | Causal streaming | Agentic system |
|---|---|---|---|---|
| 全局双向协调 | 强 | 弱 / 间接 | 弱 / 间接 | 取决于 planner / repair |
| 任意追加 | 弱 | 强 | 强 | 强 |
| 首帧延迟 | 高 | 中 | 低 | 通常高且不稳定 |
| 历史成本 | 全上下文 | memory-dependent | bounded cache | 外部资产 / API dependent |
| 局部修正 | 通常需重做全部 | 从该 shot 起重做后续 | 过去难修改，可继续 rollout | 可重做指定 shot 并更新后续 |
| 主要风险 | context scaling | memory drift / exposure bias | causal error accumulation | cost / verifier bias / mismatch |
没有单一 SOTA：任务接口决定合理架构。
Status in 2026.07
| ShotAdapter | 48 prompts · 2/3/4 shots · same/different BG |
| FilmWeaver | 20 Gemini-generated five-shot stories |
| ShotStream / CausalCine | 各自 100-prompt multi-shot test |
| VideoMemory | 54 cases · 4/8/12 shots · entity recurrence |
hierarchical scripts + references；20 methods。偏离线综合评测。
140 episodes · 2,491 shots · up to 50；长程 entity recurrence。
受控难度下诊断人物、物体与场景一致性。
multi-shot subject-to-video；输入条件更专门。
multi-shot audio-video；不能直接覆盖纯视频、在线交互与 agent 系统的全部设置。
Takeaways & open questions
什么时候应该用 holistic 作为全局 quality ceiling，什么时候用 causal rollout，再周期性 repair？
帧、latent patch、实体资产，还是可更新的 world state？怎样验证道具与事件状态而不只验证人物外观？
如果允许不同数量的候选、API 调用与重试，应该怎样把质量、延迟和成本合成可解释的评测？
2025：让多个 shots 进入同一生成上下文。
2026：在线扩展、管理历史，并让视觉结果进入决策闭环。