Diffusion axis
扩散轴误差
- 50 步压缩到 1–4 步
- 画质与动态性下降
- DMD 模糊 / CM 运动不足
Technical Evolution · 2024—2026
Forcing 系列AR 视频蒸馏
从双向视频扩散到少步、因果、可流式生成器：核心问题、关键修正与技术分叉。
28 页问题链叙事更新至 2026-07
Core transformation
Bidirectional → Causal
50diffusion steps
→
1–4streaming steps
ODE / CM Initialization + Self-Rollout + DMD
01 · Core tension
整个系列在解决两个耦合误差
少步扩散误差会进入自回归历史；被污染的历史又会放大下一轮少步生成误差。
×
Autoregressive axis
自回归轴误差
- 生成结果重新进入 KV cache
- 局部误差持续累积
- 漂移、遗忘、重复、运动停滞
目标：高质量 + 低延迟 + 长时稳定 + 可交互，四者同时成立
02 · Problem chain
问题不是一次解决，而是逐层暴露
每一代工作都在修正前一代配方中的新瓶颈。
不能流式
双向注意力需要看完整未来。
CausVid历史分布不一致
训练看干净历史，推理看自身误差。
Self Forcing初始化架构错配
双向教师不能直接定义因果 flow map。
Causal Forcing长程误差累积
超过训练时域后漂移、过曝、重复。
Rolling / Self-Forcing++长学生、短教师
5 秒教师无法教授几十秒依赖。
Context Forcing固定 Sink 副作用
复制首帧，动态性逐渐衰减。
Reward Forcing一步生成崩溃
1-step 下质量、动态和稳定性冲突。
Causal++ / One / rCM历史越来越贵
KV cache 增长，无效历史污染注意力。
Light / Dummy / Relax / Echo03 · Basic recipe
CausVid：先把双向扩散变成 AR
它建立了后续工作的共同底座：因果架构、ODE 初始化、非对称 DMD。
后续 forcing 工作，基本都在修改右侧配方中的某一个环节。
T
Bidirectional Teacher
高质量、多步、整段视频注意力
↯
Teacher ODE Trajectory
用教师 PF-ODE 轨迹初始化少步学生
S
Causal Student + Asymmetric DMD
学生使用 block-causal attention，教师仍保持双向
03A · Stage 1 / Architecture
把视频 DiT 改成 block-causal
不是逐帧单向：chunk 内保留双向建模，chunk 间只看过去，因此可以最大程度继承预训练权重。
CausVid 配置：每个 chunk = 5 个 latent frames
01
切成 latent chunks
3D VAE 编码视频；各 chunk 独立编码，形成 C₁…C₄。
02
替换 attention mask
同一 chunk 内双向注意；跨 chunk 只能访问当前与历史。
03
顺序生成 + KV cache
完成一个 chunk 后缓存 K/V，再生成下一个 chunk。
Video
3D VAE
3D VAE
→
C₁frames 1–5
C₂6–10
C₃11–15
C₄16–20
Block-causal attention mask · Query ↓ / Key →
C₁C₂C₃C₄
C₁↔×××
C₂←↔××
C₃←←↔×
C₄←←←↔
块内双向
同时还原一小段局部运动
同时还原一小段局部运动
历史可见
维持跨 chunk 连贯性
维持跨 chunk 连贯性
未来屏蔽
获得流式 AR 能力
获得流式 AR 能力
来源：CausVid §4.1 · Autoregressive Architecture
03B · Stage 2 / Initialization
把 Teacher 的长轨迹压成学生的 4 步
先用双向 Teacher 的 PF-ODE 解出高质量轨迹，再抽取与学生时间步对应的解做回归；这是进入 DMD 前的稳定起点。
01
采样视频噪声
从 z ∼ N(0, I) 出发，作为整段视频的 ODE 初态。
02
Teacher 求密集轨迹
用多步 ODE solver 从纯噪声积分到干净视频，离线保存 solution pairs。
03
抽点回归学生
选出学生 4 个推理时间步对应的解，让 causal student 拟合这些轨迹点。
论文实现：约 1,000 条 Teacher ODE solution pairs
Dense teacher PF-ODE trajectoryBidirectional · many-step
xT
t₈
t₇
t₆
t₅
t₄
t₃
t₂
x₀
Step 1noise → coarse
Step 2structure
Step 3detail
Step 4clean latent
监督信号：Teacher 轨迹中选定时间点的 ODE 解更新：causal student
来源：CausVid §4.3 · Student Initialization
03C · Stage 3 / Distillation
Asymmetric DMD：双向 Teacher 教因果 Student
Teacher 保留完整未来视野，Student 只看过去；两种 score 的差值提供分布匹配方向。
01
学生先 rollout
4-step causal student 生成整段视频，再随机采样一个噪声时间 t。
02
两个 score 看同一 x̂t
冻结的双向 Teacher 估计 data score；在线 critic 估计 generator score。
03
差值更新 Student
sdata − sgen 构成 DMD 梯度；critic 则用生成样本的去噪损失单独训练。
“Asymmetric” = Teacher 双向 / Student 因果
Gθ causal studentz → 4-step rollout → x̂
→
add noise at tx̂ → x̂t
→
frozensdata · bidirectional teacher
onlinesgen · generator critic
generated samples + denoising loss → 更新 sgen
sdata − sgenDMD distribution gradient
→
update Gθ让生成分布靠近数据分布
Teacher 不更新
继续提供高质量全局监督
继续提供高质量全局监督
Student 可流式
训练后按 chunk 顺序生成
训练后按 chunk 顺序生成
来源：CausVid §4.2 · Asymmetric Distillation
04 · First correction
Self Forcing：学生必须看自己的历史
Teacher Forcing
GTGTGT→预测
训练条件来自真实或干净历史；推理时却只能使用学生自身的有误差输出。
Train ≠ Test · Exposure Bias→
Self Forcing
Ŷ₁Ŷ₂Ŷ₃→Ŷ₄
训练时真正执行 AR rollout；当前 chunk 条件于学生此前生成的 chunk，并在整段视频上做 DMD。
Train ≈ Test · On-policy05 · Second correction
Causal Forcing：初始化教师也必须因果
Self Forcing 修正了 rollout 分布，但仍继承了“双向教师 → 因果学生”的 ODE 初始化错配。
双向 Teacher
可看完整视频
可看完整视频
→
条件期望解
≠ 因果 flow map
≠ 因果 flow map
AR Teacher
只看历史
只看历史
→
正确的因果
conditional flow
conditional flow
01
训练多步 AR Diffusion Teacher
先用 teacher forcing 得到与学生同构的因果教师。
02
Causal ODE Initialization
使用 AR teacher 的 PF-ODE 轨迹初始化少步学生。
03
Self-Rollout DMD Refinement
最后沿用 Self Forcing 的 on-policy 非对称 DMD。
06 · Main lineage
主干逐步修正，再分成四类任务
Bidirectional Video Diffusion
高质量，但慢、不可流式。
↓
CausVid
建立 ODE init + asymmetric DMD 配方。
↓
Self Forcing
在学生自身 rollout 分布上训练。
↓
Causal Forcing
使用 AR teacher 恢复正确因果 flow map。
Causal Forcing 之后的四类任务
少步与延迟
Causal Forcing++
One-Forcing · Causal-rCM
长视频稳定
Rolling · Self-Forcing++ · Reward · Context
LongLive · 2.0 · RAG
系统与记忆
Light · Dummy · Relax
Deep · Echo · Pyramid
交互应用
MotionStream · RealCam
Lip · MV · minWM
07 · Long-horizon overview
长视频：四篇工作修改了四个不同位置
共同目标是阻止误差在超出训练时域后持续累积，但切入点分别位于生成、监督、记忆和教师上下文。
改生成过程
Rolling Forcing
严格逐块因果传播误差太快
多个不同噪声级别的 chunk 在滚动窗口中联合去噪。
联合去噪 · 渐进噪声
改监督样本
Self-Forcing++
短教师无法直接生成长视频
从学生长 rollout 中抽短片段，让短教师做局部纠偏。
Long rollout · Window correction
改锚点与目标
Reward Forcing
固定首帧 sink 导致复制与静止
动态更新 EMA-Sink，并让 DMD 偏向高动态样本。
Dynamic memory · Rewarded DMD
改教师信息
Context Forcing
短教师教不会几十秒依赖
让教师也访问完整长历史，并压缩为 Slow-Fast Memory。
Long teacher · Long student
07A · Long horizon / rollout side
先控制误差怎么传播，再让历史保持动态
这组方法不换教师，而是直接修改生成过程与长期锚点。
Generation process
Rolling Forcing
问题：严格逐帧/逐块因果会把上一时刻误差立刻传给下一时刻。
不要一次只完成一帧：让滚动窗口中的多帧一起去噪，局部放松严格因果。
- 窗口内多帧联合去噪
- 未来方向使用渐进升高的噪声
- 首帧 attention sink 保留全局锚点
- 在扩展窗口上做少步蒸馏
结果：抑制误差增长，支持实时分钟级生成
Dynamic anchor + objective
Reward Forcing
问题：固定首帧 sink 虽然稳定，却让后续帧复制开头、运动逐渐消失。
锚点也要随视频更新：长期记忆不能永远停在第一帧。
- EMA-Sink 融合滑窗中被移出的历史 token
- 固定缓存规模，同时吸收近期动态
- Re-DMD 用视觉语言模型的动态奖励重加权样本
结果：稳定性不丢，同时减少首帧复制与运动衰减
07B · Long horizon / supervision side
短教师如何教一个比自己长几十倍的学生？
两篇工作都修正 teacher–student horizon gap，但一个切窗口纠错，一个扩展教师上下文。
Long rollout → short correction
Self-Forcing++
问题：短视频 Teacher 无法直接生成或监督几分钟的完整轨迹。
学生负责走远，教师只负责局部纠偏：从学生的长 rollout 中抽短窗口。
- 学生先生成超出训练长度的长视频
- 随机抽取短片段送入短时双向 Teacher
- Teacher 修正局部窗口，再蒸馏回学生
- Backward-noise initialization：对抽取的学生 latent 重新加噪，保留它与前文的内容关联
不需要真实长视频数据或长视频 Teacher
Long teacher ↔ long student
Context Forcing
问题：Teacher 只看短片段，而 Student 根据长历史预测，二者条件信息不一致。
监督者也要知道完整历史：让 Teacher 与 Student 使用匹配的长上下文。
- Teacher 访问长历史，消除 context mismatch
- Slow Memory 保存稀疏长期语义
- Fast Memory 保留近期细节与运动
- 在计算预算内扩大有效监督时域
解决“短教师监督长学生”的信息缺口
07C · LongLive family / direct AR training
另一条长视频主线：直接 train-long–test-long
它与 forcing 蒸馏主线相邻，但不依赖“ODE 初始化 → DMD”；演进顺序是训练时域 → 系统效率 → 可召回历史。
Model & long-horizon training
LongLive
问题：短片模型直接外推会退化；流式 Prompt 切换还会污染旧 KV。
测试要生成多长，训练就真实走多长：直接缩小 train-long–test-long gap。
- Frame-level causal AR
- Streaming Long Tuning
- 短窗 attention + Frame Sink
- KV-Recache 刷新 Prompt 条件
模型层：分钟级、实时、可交互长视频
Training & inference infrastructure
LongLive-2.0
问题：长序列 AR 训练显存高、并行负载不均；部署吞吐仍受精度与 VAE 限制。
不再堆蒸馏阶段，而是协同设计 AR 训练与硬件执行。
- Balanced Sequence Parallel teacher-forcing
- NVFP4 training + W4A4 inference
- NVFP4 KV cache + 异步流式 VAE
- 可选 LoRA 将 4-step 转为 2-step
系统层：直接 AR tuning 的全流程加速
Retrieval-augmented history
LongLive-RAG
问题：滑窗一旦累积错误，模型只能沿退化轨迹继续生成，旧身份也无法找回。
把自生成 latent 历史变成按内容检索的外部记忆，而非只看最近窗口。
- 每个新 block 查询相关历史 latent
- 非局部检索结果回注生成器
- Window Temporal Delta Loss 抑制局部冗余
记忆层：从不可逆滑窗变为可召回历史
08 · Few-step overview
少步竞争：从 50 步走向 frame-wise 1–2 步
50
双向教师
高质量，但不具备实时交互能力
4
CausVid / Self / Causal
Chunk-wise 主流配置
2
Causal Forcing++ / rCM
Causal CD 或 TF-CM 初始化
1
One-Forcing
DMD + GAN 稳定一步生成
核心矛盾：Consistency 路线容易动态不足，DMD 路线在一步下容易模糊。
08A · Few-step methods
1–2 步的关键不是“少算几次”，而是重新设计初始化
Consistency initialization
Causal Forcing++
完整 causal PF-ODE 轨迹昂贵，难扩展到 frame-wise 1–2 步。
只学相邻时间步的一小段 flow map，不再预存整条 ODE 轨迹。
- Causal consistency distillation
- 在线 Teacher ODE 单步监督
- 再接 asymmetric DMD
2-step · 更低首帧延迟与训练成本
One-step refinement
One-Forcing
Consistency 一步容易缺运动；DMD 一步又容易模糊。
DMD 管分布与动态，辅助 GAN 管单步锐度。
- 保留 self-forcing DMD 主目标
- 加入 adversarial image/video signal
- 专门稳定一步 AR rollout
1-step · 兼顾清晰度与动态性
Forward + reverse divergence
Causal-rCM
只用 CM 容易平均化，只用 DMD 又缺稳定初始化。
把两者变成两阶段：TF-CM 找覆盖，SF-DMD 做锐化。
- Teacher-forcing continuous-time CM
- Self-forcing on-policy DMD
- 统一 frame/chunk-wise 开放配方
1–2 step · 初始化与分布细化互补
09 · Alternative overview
另一条问题：能否摆脱复杂蒸馏链路？
从左到右，对外部双向 Teacher、ODE 数据和在线 critic 的依赖逐渐降低。
CausVid / Self
双向教师 + ODE 初始化 + DMD critic
Causal Forcing
额外加入多步 AR teacher
AAPT
Student-forcing + adversarial post-training
Resampling Forcing
Self-resampling 模拟推理误差，从头训练
Mutual Forcing
少步/多步模式共享参数并互相自蒸馏
09A · Alternative methods
不沿用完整 DMD 蒸馏链路的三种选择
共同目标是降低对“双向 Teacher + ODE 数据 + 在线 critic”的依赖。
Adversarial post-training
AAPT
少步扩散蒸馏链路复杂，推理仍有多次网络调用。
把因果生成器直接做成1-NFE GAN，并在自身历史上训练。
- Student-forcing rollout
- Causal adversarial post-training
- 避免 DMD critic 配方
用对抗训练换取一步速度
Teacher-free training
Resampling Forcing
蒸馏依赖昂贵 Teacher，且训练条件仍难复现推理误差。
在训练时反复重采样自己的输出，主动制造未来会遇到的历史分布。
- Self-resampling 模拟累积误差
- History routing 控制条件来源
- 从头端到端训练
绕开 Teacher 与在线判别器
Shared-model self-distillation
Mutual Forcing
额外双向 Teacher 带来架构与能力错配。
让同一个原生因果模型的多步模式与少步模式互相教学。
- 共享参数的 slow / fast generation
- 少步与多步双向自蒸馏
- 面向同步音视频生成
把 Teacher 内化为模型自身的慢模式
09B · Mutual Forcing / dual-mode loop
快、慢不是两个模型：同一参数，两种步长
Few mode 负责复现真实推理历史；Multi mode 负责提供高质量学习目标。两条训练信号共同更新一套参数。
Fast · Few-step mode
少数大跳
4–8 次网络调用
一次预测一大段噪声区间的平均变化，快速从噪声跳到干净音视频。
- 输入：带噪当前块 xt、已生成历史 ĉ、区间终点 s、文本/首帧/语音控制
- 输出：从 t 到 s 的区间平均速度，即一次大跳应移动多少
- 用途：训练时生成历史；部署时直接生成音视频
监督信号：
停止梯度的慢模式多步结果；ShortCut 保证大跳一致，DMD 改善少步分布质量。
停止梯度的慢模式多步结果；ShortCut 保证大跳一致，DMD 改善少步分布质量。
给慢模式提供
真实推理历史→
真实推理历史→
共享参数
θ
θ
←慢模式提供
高质量蒸馏目标
高质量蒸馏目标
Slow · Multi-step mode
许多小步
沿 ODE 路径逐小步去噪
每次只预测当前噪声位置下一小段的去噪方向，因此更精细、更稳定。
- 输入：由真实当前块 x₀ 加噪得到的 xt、快模式历史 ĉ、时间 t 与控制信号
- 输出：当前时刻的瞬时去噪速度 vθ(xt,t,ĉ)
- 用途：沿许多小步得到高质量轨迹
监督信号：
由真实配对音视频 x₀ 与采样噪声构造的 Flow Matching 目标速度。
由真实配对音视频 x₀ 与采样噪声构造的 Flow Matching 目标速度。
闭环快模式让慢模式适应推理分布；慢模式持续变强后，又把更好的能力蒸馏回快模式。
来源：Mutual Forcing §3.3 · Dual-Mode Self-Evolution
10 · System overview
蒸馏完成后，历史本身成为新瓶颈
问题从“如何训练 AR 模型”转向“如何管理越来越长、越来越脏、越来越贵的历史”。
⚡压缩计算哪些注意力可以不算？
⌁选择历史哪些帧真正有用？
◇构建记忆如何保留并召回场景？
Light
Chunk-aware 稀疏注意力
Dummy
无历史作用的 heads
Forcing-KV
Static / Dynamic 分治
Pyramid
Anchor / Wave / Veil
Relax
Sink · Tail · Dynamic History
Deep
Deep Sink + 参与式压缩
LongLive-2.0
NVFP4 + Balanced SP
Echo
Scene Recall 与主动遗忘
Context
Slow-Fast Memory
共同目标
有界 cache 下保持长期一致
下一页：稀疏计算 · 再下一页：历史与场景记忆
10A · System / sparse compute
不是所有历史、所有 head 都值得同样计算
相近直觉：先识别注意力模式，再给不同 chunk 或 head 分配不同预算。
Chunk-aware sparsity
Light Forcing
通用稀疏注意力忽略 AR chunk 的历史依赖。
越往后生成，按 chunk 贡献渐进增加稀疏度。
- Chunk-Aware Growth
- Hierarchical Sparse Attention
- frame/block 两级选 mask
保留关键历史，减少二次复杂度
Head-wise context
Dummy Forcing
约四分之一 heads 几乎只看当前帧，缓存历史纯属浪费。
给这些“dummy heads”短记忆，其他 heads 保留长记忆。
- 动态 head 分类
- 异构 memory allocation
- Context packing
无需训练即可压缓存与加速
Hybrid pruning
Forcing-KV
统一剪枝会同时伤害画质 head 与运动 head。
先分功能：static head 看结构，dynamic head 看运动。
- Static：结构化剪枝
- Dynamic：按片段相似度剪枝
- head 类型跨样本稳定
按功能选择不同 KV 压缩策略
Pyramidal cache
Pyramid Forcing
不同 heads 的时间依赖形态不同，统一 cache 长度不合理。
把 heads 分成Anchor / Wave / Veil 三类。
- Anchor：广域长期历史
- Wave：周期依赖
- Veil：首帧与邻近帧
异构长度 + ragged-cache attention
10B · System / memory policy
长历史不是越多越好：关键是角色分工与遗忘
Structured temporal memory
Relax Forcing
密集保留全部历史既昂贵，也会把错误和旧运动继续传下去。
把历史拆成稳定、连续、运动三种角色。
- Sink：全局稳定
- Tail：短期连续
- Dynamic History：结构运动指导
选择相关历史，而非扩大同质 buffer
Training-free cache repair
Deep Forcing
普通 sink 会造成画质下降、重复与运动减速。
锚点要更深，旧历史只保留近期仍参与注意力的 token。
- Deep Sink 占据半个滑窗
- RoPE 相位重新对齐当前时间
- Participative Compression 剪掉退化历史
Training-free 地延长 12× 以上
Interactive scene memory
Echo-Forcing
Prompt 切换后旧背景污染新场景；切回时又无法召回。
记忆需要同时会保存场景、响应变化、主动遗忘。
- Hierarchical Temporal Memory
- Scene Recall Frames 压缩旧场景
- Difference-aware Memory Decay
固定 cache 下支持转场与远程场景召回
11 · Applications overview
从实时视频生成走向交互世界模型
底层 forcing 配方相似，但每个应用都需要重新定义控制接口、监督信号与一致性约束。
↝
运动与轨迹
绘制轨迹、控制物体和镜头，并实时观察结果。
MotionStream
⌗
相机与新视角
从单目视频实时合成交互式相机轨迹。
RealCam
◡
口型与音视频
在参考身份、画面质量和语音同步之间取平衡。
Lip Forcing
◇
多视角与 4D
同时解决时间延伸与跨视角几何一致。
MV-Forcing
◎
交互世界模型
整合数据、控制训练、蒸馏和流式部署。
minWM
11A · Applications / real-time control
把控制信号变成可即时响应的流式视频
Trajectory & motion control
MotionStream
运动控制模型需要看完整序列，几分钟生成延迟使交互不可能。
先训练高质量双向控制 Teacher，再用Self Forcing 蒸馏成流式 Student。
- 轨迹、相机、运动迁移控制
- Self-rollout + DMD
- Sliding-window causal attention
- Sink + rolling KV 保持恒定上下文
最高约 29 FPS，支持无限长度交互
Novel-view camera control
RealCam
单目视频的新视角合成依赖双向全序列处理，不能边控制边生成。
把源帧与目标帧交错成同步 context pairs，天然适配因果蒸馏。
- Cross-frame in-context learning Teacher
- Self-Forcing + DMD causal Student
- LoopAug 修正闭环相机轨迹不一致
实时、变长、交互式相机控制 V2V
11B · Applications / specialized worlds
同一 forcing 配方，针对不同约束重写监督信号
Audio-visual synchronization
Lip Forcing
口型既要保持参考人脸，又要严格同步语音；CFG 会让两者互相拉扯。
只在 Teacher 轨迹中同步最可靠的时间窗口做 DMD。
- 14B Teacher → 2-step causal Student
- Sync-Window DMD
- SyncNet reward + 无推理 CFG
实时口型同步，兼顾身份与音画对齐
Temporal + view autoregression
MV-Forcing
时间 AR 能生成长视频，多视角模型却只能生成短片；二者难同时一致。
用3D 重建与渲染在连续视角之间搭一座 4D 几何桥。
- 时间与视角双重 autoregression
- 源视角重建 → 目标视角几何 prior
- Spatio-Temporal Self-Forcing + DMD
任意时长、任意视角数的几何一致视频
Full-stack world model recipe
minWM
单篇算法不能直接变成可复现的实时世界模型系统。
把数据、控制训练、因果蒸馏、流式部署连成开源流水线。
- 先做相机可控 bidirectional model
- AR diffusion teacher training
- Causal ODE / causal CD + asymmetric DMD
- 适配多种开放 backbone
把 Causal Forcing 系列工程化为完整框架
12 · Consistency / two different axes
先分清：Consistency 在这里有两种含义
一条发生在去噪时间轴，决定能否少步生成；另一条发生在视频时间轴，决定长 rollout 是否连贯。
Diffusion-time consistency
τ
同一内容，不同噪声时刻应指向同一结果
核心问题：如何把 50 个小去噪步压缩成 1–2 个大步？
学生从不同噪声位置出发，都应恢复到同一条教师轨迹对应的干净结果。这是 consistency distillation、CM、ShortCut 讨论的“一致性”。
关注：目标是否正确 · 一步能否跨越轨迹 · 初始化是否稳定
Video-time consistency
t
同一世界，连续帧应保持身份、运动与因果
核心问题：AR 模型持续使用自己的输出后，为什么会漂移？
人物、物体、场景和运动规律应在长时间内保持一致；Prompt 改变时又要及时响应。这是 exposure bias、记忆和 long-context 讨论的“一致性”。
关注：历史分布 · 长程记忆 · 稳定性与动态性的平衡
二者耦合少步误差会进入下一帧历史；时间漂移又会让后续每一次少步去噪变得更难。
12A · Diffusion-time consistency
少步一致性：四个失败模式与当前解法
Problem 1 · Wrong target
教师轨迹不因果
双向 Teacher 使用未来帧；因果 Student 永远无法复现同一 flow map。
解法：先获得 AR Teacher，或直接使用 causal CD 学习正确的 AR 条件映射。
- Causal Forcing：causal ODE
- Causal Forcing++：causal CD
目标先对齐，再讨论少步
Problem 2 · Scaling cost
完整 ODE 轨迹太贵
每个样本都要生成、保存几十步 Teacher 轨迹；配置变化后还要重算。
解法：只对齐相邻噪声时刻，用单次在线 Teacher ODE step 提供局部监督。
- 无需离线轨迹库
- 每一步优化间隔更小
Causal Forcing++ · causal CD
Problem 3 · One-step geometry
视频轨迹弯得太急
高噪声区域的 trajectory curvature 很大；一步直线跳跃会丢失结构和运动。
解法：保留 2-step 中间锚点，或放弃只追轨迹，直接匹配输出分布。
- 2-step consistency：跨过弯点
- One-Forcing：DMD + GAN
一步时需要额外全局真实感约束
Problem 4 · Objective bias
覆盖与锐度难兼得
CM 稳定且覆盖模式，但容易平均化；DMD 更锐利，却易 mode-seeking、依赖初始化。
解法：前向目标负责稳定覆盖，反向目标负责 on-policy 分布细化。
- Causal-rCM：TF-CM → SF-DMD
- Mutual：ShortCut + DMD
不是二选一，而是先稳定、再锐化
12B · Video-time consistency
视频一致性：问题都来自“历史不再可靠”
History distribution
训练历史太干净
训练看 GT，推理看自己带误差的输出，导致 exposure bias。
解法：在训练中真正执行少步 rollout，让模型学会从自己的错误继续生成。
- Self Forcing
- Mutual Forcing 的 Few-history
- LongLive 的 long tuning
对齐 train history 与 test history
Teacher horizon
短教师教不了长依赖
短 Teacher 只知道局部窗口，学生却必须根据几十秒历史决策。
解法：学生先走远、教师局部纠错；或者让教师也访问长上下文。
- Self-Forcing++：长 rollout 抽窗
- Context Forcing：long-context Teacher
修正 student–teacher context gap
Anchor trade-off
锚点稳定但会冻结运动
固定首帧 Sink 抑制漂移，却可能复制开头、降低动态。
解法：让锚点随历史更新，并把长期、近期、运动记忆分工。
- Reward：EMA-Sink + Re-DMD
- Relax：Sink / Tail / Dynamic
- Deep：Deep Sink + 历史压缩
稳定性与运动活力仍需共同优化
Irreversible history
滑窗走错后无法回头
最近窗口一旦身份漂移，旧场景已被移出，后续只能沿错误轨迹继续。
解法：把远期历史变成可选择、可召回、可遗忘的外部记忆。
- Echo：场景召回与差异遗忘
- LongLive-RAG：按内容检索 latent
- Pyramid：按 head 分配长期历史
从“最近窗口”走向“可寻址记忆”
仍未解决真正的事件级长期记忆、遮挡后的身份恢复、3D 世界状态，以及能区分“稳定”和“静止”的评测指标。