【免费下载链接】vdn-minimax-h3VideoDeltaNet-H3: Live T2VA / I2VA / FL2VA / Ref2VA-like generation based on Minimax H3.项目地址https://gitcode.com/gh_mirrors/vd/vdn-minimax-h3点击查看免费下载VDN-Minimax-H3简称VDN-H3是一个把视频生成速度做到比播放还快的混合注意力模型。它的灵魂是在 MiniMax H3 骨干之外并联的一条双向线性注意力分支——用NoPE无位置编码特征 Delta Rule 状态更新以近乎常数的开销把窗口 softmax 看不见的远场信息高效补全。读完本文你会清楚这条分支为什么快、又为何不掉画质。为什么视频模型卡在了注意力上 生成十几秒的视频latent 序列动辄超过 10 万个 token。如果每一帧都老老实实做全局 softmax 注意力代价是 O(N²)帧数一多就指数级爆炸——这正是 VDN-H3 想根治的瓶颈。它的思路很直接把注意力拆成两条分工明确的分支。分支看什么负责什么窗口 softmax当前帧附近的几个帧局部视觉质量与一致性双向线性分支窗口之外的全部帧全局 / 远场时序信息两条分支共享同一份 QKV 投影最后把结果相加softmax 只算近场线性分支负责远场合起来恰好覆盖全序列——既保住画质又把注意力成本压了下来。整个编排在 src/models/hybrid_attention.py 的_hybrid_forward中完成。窗口之外的远场是什么所谓远场信息就是每个 query 帧的 softmax 窗口看不见的那些帧。VDN-H3 的窗口是分块对齐的以 5 个 latent 帧为一个 chunk当前块前后各扩一块见 configs/training/stage_a1_c1_vdn_anchor.yaml 里的radius: 1, chunk: 5。这意味着中间帧只能看到约 15 帧的邻居而一条 100 帧的视频里绝大多数帧都落在窗口之外。窗口几何由 src/models/softmax_attention/window.py 的window_bounds给出。那远处的帧谁来管答案就是双向线性分支——它专门负责窗口之外的所有帧。双向线性分支五步读懂核心算法 ⚙️分支入口是 src/models/linear_attention/branch.py 里的BidirectionalLinearBranch。它把窗口看不见的部分逐 token 汇总流程可拆成五步特征准备NoPE为每个视频 token 生成 q / k / v 特征每帧统计量把一帧的 S 个 token 压缩成两个d × d矩阵 A、B双向扫描沿帧轴正向、反向各扫一遍得到状态库边界收集取窗口两侧刚好在窗外的状态衰减回 query 帧读出 门控用 query 读出再过 RMSNorm 和输出门下面逐个讲。第一步NoPE 特征——把 RoPE 去掉NoPE 即No Position Embedding无位置编码。softmax 分支用的是加了 RoPE 的 q/k而线性分支直接拿加 RoPE 之前的原始 q/k/v只做三件事过一段可分离短卷积仅对 k、vq 保持原始 NoPE 特征SiLU 激活对 q、k 做 L2 归一化为什么线性分支要去掉位置编码因为线性注意力的位置是由状态递推天然承载的——信息靠一帧一帧累加进状态矩阵而不是靠 RoPE 的相位。硬加 RoPE 反而会和递推打架。特征准备在 src/models/linear_attention/features.py 的LinearAttentionSepConv与prepare_linear_features中实现。第二步每帧统计量 A、B对每一帧把帧内所有 token 的 k、v 用 beta 加权后压缩成两个矩阵A Σ k·β·kᵀB Σ v·β·kᵀ这一步把一帧 S 个 token降维成两个小矩阵是线性注意力高效的根源。实现见 src/models/linear_attention/scan.py 的frame_statistics。第三步Delta Rule 状态更新 这是标题里的第二个关键词。拿到每帧的 A、B 后状态 S 按下面的递推一帧帧更新发布权重采用vdn_solveS_out (S_in · D B) · (I A)⁻¹D逐通道的遗忘门 alpha取值 0~1由 src/models/linear_attention/layers.py 的FrameKDAAlpha算出(I A)⁻¹精确求逆把新信息干净地写进旧状态避免重复累加造成的误差这正是 Delta Rule 的精髓不是简单往记忆里加而是带修正项地写——用 (IA)⁻¹ 抵消掉重叠部分远场状态因此能稳定累积上百帧而不发散。仓库里还备了另外两种规则对比如下规则更新方式特点sana_scaled(S·D)(I − c²A) cB一阶截断快但不精确vdn_solve(S·D B)(I A)⁻¹精确求逆发布权重采用vdn_scaled(S·D cB)(I c²A)⁻¹带缩放的精确解三种实现都在 src/models/linear_attention/delta_rule.py。第四步双向扫描 边界收集 分支是双向的状态从开头往末尾扫一遍prefix再从末尾往开头扫一遍suffix。于是对任意 query 帧 t窗口为 [lo, hi]窗口之外 prefix[lo-1]左侧全部suffix[hi1]右侧全部一个不重、一个不漏正好是窗口看不见的部分。取回来的两个状态还要乘一个由 alpha 决定的衰减把隔着窗口跨度的影响修正回来bridge 机制。整套逻辑在 src/models/linear_attention/scan.py 的gather_linear_state里。上图来自 FL2VA 示例首帧 → 生成 14 秒视频。只给一帧起点、再给一帧终点要串出中间连贯的画面靠的正是这条分支提供的全局时序记忆。第五步读出与门控最后用当前帧的 query 去问收集好的远场状态得到 readout再过 RMSNorm 和输出门加回到主干输出上。文本状态见下节也会在这里一起读出。文本状态让分支记得提示词 给分支喂入 prompt 后双向扫描不再从零状态出发而是从半个文本状态TEXT_STATE_SCALE 0.5启动。两个方向各带半份加起来约等于一份完整 prompt——于是每一帧的状态都成了被视频改写过的 prompt 记忆。这带来一个巧妙效果当某个 query 的窗口已经碰到视频首/尾边界时那一侧不再是读到空气而是读到衰减后的 prompt。分支因此从补齐缺失输入升级成了带着条件跑。相关逻辑见 src/models/linear_attention/branch.py 的_text_state。参考图生成Ref2VA-like同样依赖这条分支的全局一致性多张参考图要在整段视频里保持同一套角色与场景靠的就是远场状态把谁是谁牢牢记住。它是怎么被训练出来的 分支不是白给的而是分阶段从稠密骨干蒸馏出来的。发布权重走了四步阶段训练内容步数A1新线性分支逐层对齐稠密模型200A2同样的参数端到端500BQKV/O 投影的 LoRA 线性分支2000DMD8 步turboLoRADMD2无 GAN250A1 的完整结构配置vdn_solve、anchor_frames: both、K/V 短卷积、文本状态见 configs/training/stage_a1_c1_vdn_anchor.yaml训练脚本在 scripts/training/。一句话总结VDN-Minimax-H3 的双向线性注意力分支本质是给 MiniMax H3 装了一套**近场看画质、远场看全局**的注意力分工系统NoPE让位置交给状态递推而不是 RoPEDelta Rule用 (IA)⁻¹ 精确写记忆远场状态上百帧不崩双向扫描 边界收集精准补齐窗口看不见的帧文本状态让 prompt 成为贯穿全片的记忆锚点。想动手跑起来可参考 docs/inference.md 与 README.md 的快速开始章节。赞分享【免费下载链接】vdn-minimax-h3VideoDeltaNet-H3: Live T2VA / I2VA / FL2VA / Ref2VA-like generation based on Minimax H3.项目地址https://gitcode.com/gh_mirrors/vd/vdn-minimax-h3点击查看免费下载相关推荐VDN-Minimax-H3线性注意力分支深入剖析vdn_solve Delta Rule、帧状态桥接与文本状态机制VDN Minimax H3线性注意力分支深入剖析vdn_solve Delta Rule、帧状态桥接与文本状态机制 VDN Minimax H3简称 VD人工智能大模型媒体生成OpenVDN混合注意力架构深度剖析Vdn-Minimax-H3-Comfy背后的线性注意力加速原理OpenVDN混合注意力架构深度剖析Vdn Minimax H3 Comfy背后的线性注意力加速原理 Vdn Minimax H3 Comfy 是一套面向 C人工智能大模型媒体生成Vdn-Minimax-H3-Comfy项目全解OpenVDN混合注意力如何让视频生成快过播放Vdn Minimax H3 Comfy项目全解OpenVDN混合注意力如何让视频生成快过播放 Vdn Minimax H3 Comfy 是专为 ComfyU人工智能大模型媒体生成上一篇给 REDox 提人生第一个 PR子模块、xUnit 一致性测试与 ReSharper 规范全流程下一篇2k 星/天是实力还是光环拆解 disktree 爆火的真实含金量创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考