三线交汇：构图控制、局部重绘与个性化定制的完整工作流

1. 三线交汇到底在解决什么问题1.1 从三个独立工具到一条流水线图像生成这个领域过去一年多的演进路线其实非常清晰。最早大家玩的是纯文生图输入一段提示词模型吐出一张图好不好看全凭运气。后来大家发现光靠文字控制不住构图于是有了Composition构图控制这条线代表技术就是 ControlNet、T2I-Adapter 这一类用边缘图、深度图、姿态骨架去约束生成结果的空间结构。再往后大家发现生成出来的图总有瑕疵或者想把某个人从画面里拿掉、换个背景于是有了Inpainting局部重绘这条线代表技术是各种 mask-based 的修复模型。最后大家又不满足于每次都要重新写提示词想让模型学会某个特定的风格、某个特定的人物、某个特定的物体于是有了Customization个性化定制这条线代表技术就是 DreamBooth、Textual Inversion、LoRA 这些微调方案。这三条线在很长一段时间里是各玩各的。你做构图的只管构图做修复的只管修复做定制的只管定制。但真正落到实际项目里你会发现一个残酷的事实用户要的从来不是某一个单点能力而是一条完整的流水线。比如一个电商场景运营给了一张模特图要求把模特换到另一个背景里同时保持模特的脸和衣服不变还要让新背景的光影和模特匹配。这个需求里构图控制、局部重绘、个性化定制三件事全占了。所以“三线交汇”这个标题说的不是三个技术的简单叠加而是如何把这三条技术线串成一条可复用的工作流。这件事的难度不在于你会不会用某一个工具而在于你能否让三个环节的输入输出严丝合缝地对上中间不丢信息、不引入伪影、不破坏一致性。1.2 谁需要关心这个交汇点我先把话说在前面如果你只是偶尔生成几张图发朋友圈那这三条线你随便挑一条玩就够了没必要折腾交汇。但如果你属于以下几类人那这个交汇点就是你绕不过去的坎。第一类是做商业视觉内容的从业者。比如电商详情页、广告海报、游戏宣发物料这些场景对图像的要求不是“好看”而是“精确”。产品的位置、模特的姿态、背景的氛围都有明确的商业诉求纯靠提示词抽卡根本交付不了。第二类是做AI应用开发的人。你要把图像生成能力封装成一个产品功能用户不会关心你底层用了什么模型他们只会说“我要把这个东西放到那个场景里还要像我给的那张参考图”。这时候你就必须把构图、修复、定制三条线整合到一个接口后面。第三类是做研究和实验的人。三条线各自的论文你都读过但它们在同一个 pipeline 里会不会互相干扰mask 的边界和 ControlNet 的条件图会不会打架LoRA 微调后的模型在 inpainting 时会不会出现风格漂移这些问题只有真正把三条线接起来才会暴露。1.3 一个典型的交汇场景拆解我拿一个我自己实际跑过的流程来举例这样后面讲细节的时候你脑子里有个具体的画面。假设你有一张产品图一个白色的杯子放在木桌上背景是纯色。现在客户要求把这个杯子放到一个咖啡馆的场景里杯子本身不能变形杯身上的 logo 要清晰咖啡馆的背景要符合透视关系而且整体风格要偏向某一种特定的插画质感。这个需求拆开来看杯子的形状和位置约束属于Composition把杯子从原图里抠出来放到新场景属于Inpainting的范畴更准确地说是 outpainting 加 harmonization而那个“特定的插画质感”属于Customization。三个环节缺一不可而且顺序不能乱。你先定制风格再构图风格模型可能不认识新的空间结构你先修复再定制修复出来的伪影会被定制模型放大。所以交汇的核心不是技术本身而是顺序、接口和一致性约束。这也是我后面要重点展开的东西。2. 三条线的核心技术点拆解2.1 Composition控制的是空间不是内容很多人对构图控制有个误解以为用了 ControlNet 就能精确控制画面里每个物体的位置。实际上 ControlNet 控制的是条件图所表达的空间结构它不负责语义。你给一张边缘图模型会尽量让生成结果的边缘和你的输入对齐但边缘围起来的区域里画什么还是由提示词和基础模型决定的。这就带来一个很实际的问题当你把构图控制和个性化定制结合时定制模型可能会“覆盖”掉一部分构图信号。我实测下来LoRA 的权重如果超过 0.8边缘对齐的精度会明显下降尤其是当 LoRA 训练集里的构图和当前条件图差异较大时。解决办法是在 ControlNet 的 conditioning scale 上做补偿通常要把默认的 1.0 提到 1.2 到 1.4 之间具体数值取决于你的 LoRA 强度和条件图类型。条件图的类型选择也有讲究。边缘图Canny、Lineart适合保留清晰的轮廓但对光影变化不敏感深度图适合表达前后景关系但对细长结构容易糊姿态图适合人物但对非人物物体基本没用。在交汇场景里我通常会用深度图加边缘图的组合深度图负责大关系边缘图负责细节锁定。两张条件图同时输入时各自的权重需要调一般深度图 0.6、边缘图 0.8 是个不错的起点。还有一个容易被忽略的点条件图的分辨率要和生成分辨率匹配。你拿一张 512 的条件图去生成 1024 的图模型会自己插值插值出来的边缘是模糊的导致最终结果的轮廓发虚。正确做法是先把条件图用高质量插值算法放大到目标分辨率再做一次边缘锐化这样模型收到的信号才是干净的。2.2 Inpainting边界处理决定成败局部重绘这件事模型本身的能力其实已经很强了不管是基于扩散的还是基于 transformer 的方案填个洞、换个背景都不在话下。真正难的是边界。我踩过最多的坑就是 mask 边缘的羽化处理。如果你把 mask 边缘做得很硬重绘区域和保留区域之间会出现一条明显的接缝颜色、亮度、纹理都对不上。如果你把 mask 羽化得太厉害重绘模型会“侵蚀”到本该保留的区域把不想改的地方也改了。我的经验是羽化半径控制在 8 到 16 个像素之间具体取决于图像分辨率和重绘区域的大小。1024 分辨率的图12 像素左右的羽化基本能兼顾两边。另一个关键是 mask 的形状。很多人直接用矩形框选这是最省事但效果最差的做法。矩形 mask 会让模型在四个角的位置产生明显的方形伪影因为模型不知道角落该填什么。正确的做法是用贴合物体轮廓的 mask可以用分割模型自动生成也可以手动描。如果实在要用矩形至少把四个角做圆角处理让过渡更自然。重绘时的提示词也有讲究。你不能只写“一个咖啡馆背景”因为模型不知道要和保留区域的光影匹配。我通常会在提示词里加上对光照方向、色温、阴影的描述比如“warm ambient light from upper left, soft shadows”。这些描述会引导模型生成和原图光照一致的内容减少后期调色的工作量。还有一点重绘的 denoising strength 不要设太高。如果你设到 1.0模型会完全重新生成保留区域的上下文信息就丢了。一般 0.6 到 0.8 之间比较合适既能改到位又能保持和周围的连贯性。如果一次改不干净可以分两次做每次用较低的 strength比一次用高 strength 效果好得多。2.3 Customization定制的粒度决定可控性个性化定制这条线技术选型的分水岭在于你要定制什么。如果你要定制的是风格比如某种特定的笔触、配色、质感那 LoRA 是首选。训练成本低推理时加载方便而且可以和其他 LoRA 叠加。但风格 LoRA 的问题是它会影响整个画面包括你不想改变的区域。在交汇场景里如果你在 inpainting 阶段加载了风格 LoRA重绘区域和保留区域会呈现两种风格接缝处会非常突兀。如果你要定制的是具体物体或人物那 DreamBooth 或者 Textual Inversion 更合适。DreamBooth 的效果更精确但训练成本高而且容易过拟合导致模型只会画那一个东西换个姿态就崩。Textual Inversion 更轻量但精度有限适合对细节要求不极端的场景。在交汇工作流里我的建议是把定制环节放在最前面。先用定制模型生成一张符合风格和主体要求的基础图然后再用构图控制去调整空间结构最后用 inpainting 做局部修正。这个顺序的好处是定制模型在生成基础图时不受 mask 和条件图的约束能充分发挥它的能力后续的构图和修复只是在这个基础上做微调不会破坏定制效果。如果你非要把定制放在后面比如先构图再定制那你就得接受一个现实定制模型会重新解释整个画面包括你精心调整过的构图。这时候你需要在定制模型的输出上再跑一遍构图控制相当于做了两次构图计算成本翻倍而且两次构图之间的一致性很难保证。2.4 三条线的接口设计把三条线串起来最核心的工程问题是接口。每条线都有自己的输入输出格式你得设计一套中间表示让数据在三条线之间无损传递。我的做法是用一个统一的latent 表示作为中间层。Composition 阶段输出的 latent 直接传给 Inpainting 阶段作为初始噪声Inpainting 阶段输出的 latent 再传给 Customization 阶段做风格迁移。这样做的代价是每个阶段都得在 latent 空间里操作不能直接处理像素图对模型的要求更高。但好处是信息损失最小而且整个 pipeline 可以端到端优化。如果模型不支持 latent 级别的操作那就退而求其次用像素图加辅助通道的方式。辅助通道里存 mask、深度图、边缘图这些条件信息每个阶段读取自己需要的通道输出时更新对应的通道。这种方式更灵活但需要你自己管理通道的对应关系容易出错。不管用哪种方式有一条原则是不变的每个阶段的输出都要做质量检查。我见过太多人把三个阶段串起来跑结果最后出来的图有问题回头排查发现是第一阶段的条件图就错了。所以在每个阶段之间加一个检查点用简单的指标比如边缘对齐度、颜色直方图差异快速判断这一步有没有跑偏能省下大量调试时间。3. 完整工作流的实操搭建3.1 环境准备与模型选型先把环境说清楚。我用的基础模型是一个通用的文生图模型具体是哪个不重要你用手头顺手的就行。关键是三个辅助模块构图控制模块、重绘模块、定制模块。构图控制我选的是 ControlNet 系列因为它对条件图的兼容性最好支持边缘、深度、姿态、分割等多种输入。重绘模块我用的是一个专门做 inpainting 的模型它的优势是 mask 边缘处理得比较自然不会出现明显的接缝。定制模块我用的是 LoRA因为训练快、加载方便而且可以随时调整权重。硬件方面如果你要跑 1024 分辨率的完整 pipeline显存至少 12GB。8GB 的话得用梯度检查点和分块推理速度会慢不少。我实测下来一张 1024 的图跑完三个阶段大概需要 15 到 20 秒取决于你的显卡和采样步数。软件环境就是标准的深度学习栈PyTorch 加 diffusers 库。diffusers 的好处是它把 ControlNet、Inpainting、LoRA 的接口都统一了你不用自己写加载逻辑。版本方面建议用比较新的版本老版本对多条件输入的支持不太好。3.2 第一阶段定制模型生成基础图第一步是加载你的定制 LoRA生成一张符合风格和主体要求的基础图。这一步的提示词要写得具体把风格、主体、氛围都描述清楚。比如“a white ceramic cup on a wooden table, soft natural lighting, warm color palette, illustration style”。LoRA 的权重我一般从 0.7 开始试如果风格不够明显就往上加但不要超过 1.0否则画面会变得很“僵”细节丢失严重。如果发现主体变形可以适当降低权重或者在负面提示词里加上对变形的描述。采样步数建议 30 到 40 步太少细节不够太多收益递减。采样器用 DPM 2M Karras 或者 Euler a 都行前者更稳定后者更有随机性。CFG scale 设在 7 到 9 之间太高颜色会过饱和太低会不听话。生成完基础图后先别急着往下走。仔细检查这张图主体是否清晰、风格是否符合预期、有没有明显的伪影。如果这张图有问题后面两个阶段只会把问题放大。我一般会生成 4 张挑一张挑的标准是主体完整、构图有调整空间、风格稳定。3.3 第二阶段构图控制调整空间结构拿到基础图后下一步是调整它的空间结构。这里有两种做法一种是直接用基础图作为 img2img 的输入配合 ControlNet 做微调另一种是重新生成用基础图的 latent 作为初始噪声再用 ControlNet 约束结构。我推荐第二种因为第一种的 img2img 会保留太多原图的结构ControlNet 的作用会被削弱。第二种方式下ControlNet 的条件图是主导信号基础图的 latent 只是提供一个起点模型有更大的自由度去调整。条件图的制作是关键。如果你要调整的是物体的位置那就用分割模型把物体抠出来生成一张分割图作为条件。如果你要调整的是整体透视那就用深度估计模型生成深度图。如果你要调整的是边缘细节那就用边缘检测算子生成边缘图。条件图的权重我前面说过深度图 0.6、边缘图 0.8 是个不错的起点。但这不是固定的你得根据实际效果调。如果发现生成结果和条件图对不上就提高权重如果发现画面变得太“硬”、失去自然感就降低权重。这一步的提示词要和第一阶段保持一致但可以加上对空间关系的描述比如“cup in the center foreground, cafe interior in the background”。这样模型在调整结构时不会把语义也改掉。3.4 第三阶段局部重绘修复瑕疵前两个阶段跑完你应该得到一张构图正确、风格统一的图了。但大概率还有一些小瑕疵边缘不够干净、某个区域颜色不对、有个多余的物体需要去掉。这时候就轮到 inpainting 上场了。mask 的制作我建议用交互式分割工具比如 SAM 系列点几下就能得到精确的 mask。如果你要去掉一个物体mask 就覆盖那个物体稍微往外扩几个像素。如果你要替换一个区域mask 就覆盖那个区域边缘做羽化。重绘的提示词要针对具体区域写。比如你要把背景从纯色换成咖啡馆就写“cafe interior with warm lighting, wooden furniture, soft shadows”。同时要在提示词里强调和周围区域的协调比如“matching the lighting and color tone of the surrounding area”。denoising strength 我一般设在 0.7 左右。如果一次改不干净就再来一次每次都用 0.5 到 0.6 的 strength。分多次低强度重绘比一次高强度重绘的效果好得多因为每次模型只需要做微调不会引入大的结构变化。重绘完成后把结果和原图做一次颜色匹配。因为重绘区域和保留区域之间可能存在轻微的色差用简单的直方图匹配或者色彩迁移算法就能消除。这一步很多人会忽略但它是让最终结果看起来“无缝”的关键。3.5 参数速查与调优建议我把整个 pipeline 的关键参数整理成一张表方便你直接抄作业。阶段参数推荐值说明定制LoRA 权重0.7-0.9超过 1.0 画面会僵定制采样步数30-40太少细节不够定制CFG scale7-9太高颜色过饱和构图深度图权重0.6控制大关系构图边缘图权重0.8锁定细节构图条件图分辨率等于生成分辨率避免插值模糊重绘mask 羽化8-16 px兼顾接缝和侵蚀重绘denoising strength0.6-0.8太高丢上下文重绘重绘次数2-3 次低强度多次优于高强度一次这张表里的数值不是绝对的你得根据自己的模型和场景微调。但作为一个起点它能帮你省下大量试错时间。4. 踩坑实录与排查手册4.1 风格漂移定制模型在重绘时“叛变”这是我最常遇到的问题。你在第一阶段用 LoRA 生成了一张风格统一的图结果到了重绘阶段重绘区域突然变成了另一种风格和周围格格不入。原因很简单重绘模型在生成时它的注意力主要集中在 mask 区域和提示词上对周围区域的风格感知很弱。如果你的提示词没有明确指定风格它就会用自己的默认风格去生成。解决办法有两个。一是在重绘提示词里显式加上风格描述比如“illustration style, warm color palette”让模型知道要匹配什么风格。二是降低 denoising strength让模型更多地依赖周围区域的上下文而不是自己的先验。我通常两个方法一起用效果比较稳。还有一个更彻底的方案在重绘阶段也加载同一个 LoRA但权重设低一点比如 0.3 到 0.4。这样模型在生成时会被 LoRA 轻微地“拉”向目标风格又不会因为权重太高而影响重绘质量。这个方案的计算成本会高一些但对风格一致性的提升很明显。4.2 边缘伪影接缝处的“鬼影”重绘区域和保留区域之间的接缝是另一个高频问题。表现是接缝处有一条淡淡的亮线或暗线或者纹理突然断裂。这个问题的根源通常是 mask 羽化不够或者重绘时的上下文窗口太小。扩散模型在生成时有一个感受野的概念如果 mask 区域离保留区域太远模型就“看不到”保留区域的纹理生成出来的东西自然对不上。解决办法是扩大 mask 的羽化范围让模型有更多的上下文可以参考。同时在重绘时可以用“outpainting”模式让模型从保留区域向 mask 区域逐渐过渡而不是直接生成整个 mask。diffusers 库里有现成的 outpainting pipeline用起来很方便。如果伪影已经产生了后期也可以用频率域的方法修复。把图像转到频域对接缝处的低频分量做平滑再转回空域。这个方法对亮暗线特别有效但对纹理断裂效果一般。4.3 显存爆炸三阶段串联的内存管理把三个阶段串起来跑显存占用是叠加的。如果你每个阶段都加载一个完整的模型12GB 显存根本不够用。我的做法是分阶段加载和卸载。跑完第一阶段把定制模型的权重从显存里卸掉只保留 latent 和必要的中间结果。跑第二阶段时再加载构图控制模型跑完再卸。这样峰值显存占用只取决于单个阶段的最大需求而不是三个阶段的总和。代价是模型加载的时间变长了。如果你要批量处理很多张图频繁加载卸载会很慢。这时候可以用模型缓存的策略把常用的模型常驻在显存里不常用的按需加载。具体怎么权衡取决于你的任务量和硬件配置。还有一个技巧是用fp16 精度跑推理显存占用能减半速度也更快。大部分模型在 fp16 下的质量损失很小肉眼基本看不出来。如果你的显卡支持 bf16那就用 bf16数值稳定性更好。4.4 常见问题速查表问题现象可能原因排查方向解决方案构图和条件图对不上ControlNet 权重太低检查 conditioning scale提高到 1.2-1.4重绘区域风格突变提示词缺风格描述检查重绘提示词加风格词或加载 LoRA接缝处有亮线mask 羽化不够检查羽化半径加大到 12-16 px主体变形LoRA 权重太高检查 LoRA 强度降到 0.7 以下显存不足模型同时加载检查显存占用分阶段加载卸载生成速度慢采样步数太多检查步数设置降到 30 步左右颜色过饱和CFG scale 太高检查 CFG 设置降到 7-8细节模糊条件图分辨率低检查条件图尺寸放大到生成分辨率这张表我建议你打印出来贴在显示器旁边遇到问题先查表能解决八成以上的常见故障。4.5 几个反直觉的经验最后分享几个我在实操中总结的、和常规认知不太一样的经验。第一个不是所有场景都需要三条线全上。有时候你只需要构图加定制重绘那一步可以用传统的图像编辑工具代替。比如你只是想把物体挪个位置用 Photoshop 的内容识别填充可能比跑一遍扩散模型更快更好。工具是为人服务的不要为了用技术而用技术。第二个质量检查比生成本身更重要。我见过太多人把 pipeline 跑通之后就再也不看中间结果了结果最后出来的图有问题回头排查发现是第一阶段的条件图就画错了。在每个阶段之间加一个检查点花 10 秒钟看一眼能省下 10 分钟的调试时间。第三个参数不是越精确越好。有些人喜欢把每个参数都调到小数点后两位觉得这样才专业。但实际上扩散模型本身就有随机性你把 CFG 从 7.0 调到 7.1效果差异可能还不如换个随机种子来得大。把精力放在大方向的调整上比如模型选型、条件图质量、提示词措辞这些对结果的影响远大于参数微调。第四个保留原始 latent 是个好习惯。在每个阶段结束时把当前的 latent 存下来。如果后面发现某一步跑偏了你可以从那个 latent 重新开始不用从头跑整个 pipeline。这个习惯在调试阶段特别有用能帮你快速定位问题出在哪个环节。这套三线交汇的工作流我跑了大概两个月迭代了十几个版本现在基本能稳定输出商业可用的结果。但我知道它远不是最优解模型在进化工具在更新今天的最佳实践明天可能就过时了。所以比起具体的参数和步骤我更希望你把注意力放在接口设计和一致性约束这两个核心问题上。把这两个问题想清楚了不管底层模型怎么换你都能快速搭出一条可用的流水线。