AnimateDiff 多 Motion Module 组合3 个配方 1 份避坑清单把镜头从呆板推到丝滑【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff同一句提示词换一套 MotionLoRA 组合画面能从几乎不动变成丝滑推进——这就是 AnimateDiff 多模块融合要解决的事。你大概率已经会跑单个基础模块但一叠上 2~3 个镜头运动 LoRA要么画面抖动要么直接 OOM。这篇只讲三件事权重到底怎么叠、一份最小可跑示例、以及几组拿来就能用的配方。原理速览几个 LoRA 其实是在同一层上做加法基础 Motion Module 决定会动MotionLoRA 决定怎么动推、拉、摇、移。关键点多个 LoRA 不是运行时各占一条通道而是在加载阶段被逐个相加进 U-Net 的时间注意力权重。看animatediff/utils/convert_lora_safetensor_to_diffusers.py里核心就一行weight.data alpha * mm(up, down)。于是最终权重是W W_base Σ αᵢ·ΔWᵢ纯线性叠加。下面这张图描述的就是这个叠加过程基础模块先给出一版权重每个 LoRA 再按各自alpha把自己的 delta 累加进去。这个图想说明合并是一次性的加载完就不再额外吃显存/算力所以叠 2 个 LoRA 的开销很小代价是所有 delta 挤在同一层权重里方向一冲突就会互相抵消或放大这正是后面抖动的根源。最小可跑示例两个 LoRA 叠加5 分钟出片下面这份 YAML 同时加载 ZoomIn 与 PanRight 两个镜头 LoRA配 v2 基础模块即可直接跑。- inference_config: configs/inference/inference-v2.yaml motion_module: models/Motion_Module/mm_sd_v15_v2.ckpt motion_module_lora_configs: - path: models/MotionLoRA/v2_lora_ZoomIn.ckpt alpha: 0.6 - path: models/MotionLoRA/v2_lora_PanRight.ckpt alpha: 0.4 dreambooth_path: models/DreamBooth_LoRA/realisticVisionV51_v51VAE.safetensors seed: 45987230 steps: 25 guidance_scale: 7.5 prompt: - photo of coastline, rocks, waves, 8k, film grain n_prompt: - blur, deformed, low quality, watermark把它存成configs/prompts/my_combo.yaml再一行命令出片默认 512×512、16 帧底模默认models/StableDiffusion/stable-diffusion-v1-5python -m scripts.animate --config configs/prompts/my_combo.yaml场景配方拿来改改就能用 三个配方都遵循主 LoRA 大权重、副 LoRA 小权重总 α 控制在 0.8~1.0。镜头推进右移海岸线推镜需求一句话远景海岸要缓慢推近、同时向右横移。参数取值作用ZoomInalpha0.6主运动推近PanRightalpha0.4副运动右移steps25保证推镜平滑YAML 片段替换进你的 config 即可motion_module_lora_configs: - path: models/MotionLoRA/v2_lora_ZoomIn.ckpt alpha: 0.6 - path: models/MotionLoRA/v2_lora_PanRight.ckpt alpha: 0.4仓库里__assets__/animations/motion_lora/model_01/04.gif正是 ZoomPan 组合的实测结果可对照检查你的运镜手感。仰拍缓转人物特写需求一句话面部特写先仰起再轻微顺时针转营造镜头跟随感。参数取值作用TiltUpalpha0.5主运动仰拍RollingClockwisealpha0.3副运动缓转guidance_scale8.0压住旋转带来的形变YAML 片段替换进你的 config 即可motion_module_lora_configs: - path: models/MotionLoRA/v2_lora_TiltUp.ckpt alpha: 0.5 - path: models/MotionLoRA/v2_lora_RollingClockwise.ckpt alpha: 0.3旋转类 LoRA 对人物手部/五官最容易拉出形变所以主副差距拉大一点guidance_scale也调到 8 更稳。强风缓慢后拉风暴海岸需求一句话风暴海岸要晃起来、同时镜头缓缓后退制造压迫感。参数取值作用ZoomOutalpha0.5主运动后退RollingAnticlockwisealpha0.3副运动轻微晃steps30帧多→晃动更连贯YAML 片段替换进你的 config 即可motion_module_lora_configs: - path: models/MotionLoRA/v2_lora_ZoomOut.ckpt alpha: 0.5 - path: models/MotionLoRA/v2_lora_RollingAnticlockwise.ckpt alpha: 0.3注意别把两个反向缩放ZoomInZoomOut放一起——它们在同一层相加会互相抵消结果就是画面忽近忽远的抖动。避坑下一步 下面五个坑都是权重叠加这一机制的衍生症状按症状 → 归因 → 修复记最快。运动抖动闪烁→ 多个 LoRA 的 delta 线性相加进同一层α 总和过大或方向相反时互相抵消/放大代码里就是逐次→ 主 LoRA α 提到 0.6、副的压到 0.3让 Σα≈0.9方向冲突的只留一个。显存溢出 OOM→ 512×512×16 帧 常驻 LoRA 权重占显存 → 确认装了 xformers默认启用别加--without-xformers并降低--L帧数如 8或把--H/--W降到 384。画面几乎不动→ α 太小或还在用 v1 基础模块弱于 v2→ 主 LoRA α 提到 0.8~1.0换mm_sd_v15_v2.ckpt配configs/inference/inference-v2.yaml。加载报 Key 缺失assert 失败→ LoRA 与基础模块版本不匹配如 v3 LoRA 配 v2 模块或路径没按models/MotionLoRA放load_weights用 strict 校验多余权重会直接报错→ 核对两者同属 v2 系列、路径与 README 目录约定一致。组合越多越糊→ 每加一个 LoRA 就把这层权重往训练分布外推一步 → 组合 2 个以内主副分明别贪多。想再往上走有两条路值得试一是照着仓库train.py的流程训练你自己的 MotionLoRA把通用推镜换成业务里的专属运镜二是接 SparseCtrl用关键帧图控制第几帧触发哪种运动做分镜式精确控制。先把上面的两 LoRA 叠加跑通、把 Σα 摸到 0.9这是收益最高的一步。【免费下载链接】AnimateDiffOfficial implementation of AnimateDiff.项目地址: https://gitcode.com/gh_mirrors/an/AnimateDiff创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考