CVMJ 2024 | StyleDiffusion: 基于Prompt嵌入的真实图像反演和文本编辑

论文：《StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing》
代码：https://github.com/sen-mao/StyleDiffusion​

https://github.com/sen-mao/StyleDiffusion​
题目配景

已有一些工作利用预训练扩散模子举行真实图像的编辑。这些方法通常通过微调模子或在预训练模子的埋伏空间中对图像举行反演。然而，它们面对两个紧张题目：（1）在选定地域的编辑效果不理想（图 1. 第一行），同时在未选定地域出现不测变革（图 1. 第二行）；（2）必要经心筹划文本提示，确保文本提示涵盖输入图像中的全部元素（图 2. 第一行）。
      

       标图 1. (1) 已有方法（比方NullText Inversion），选定地域的编辑效果不理想（第一行第四列），未选定地域出现不测变革（第二行第四列）题            

       图 2.（2）已有方法（比方NullText Inversion），必要经心筹划文本提示（第一行），确保文本提示涵盖输入图像中的全部元素，如许才气确保编辑的稳固性       为相识决这些题目，我们提出了两个紧张改进：（1）仅优化cross-attention层中value线性层的输入，已具有富足强的本领以重修真实图像；（2）提出了留意力正则化方法，以保持重修和编辑后的物体留意力图，从而实现正确的编辑，而不会产生明显的结构性变革。别的，我们还通过P2P 利用CFG时的无条件分支改进了编辑本领，提出P2Plus。
<hr> 对留意力机制的分析（紧张观察）

为相识决提到的寻衅，我们起首对扩散模子SD采样过程中的留意力机制举行了分析。我们观察到，key主导输出图像的结构（即"where"），而value决定了物体的风格（即"what"）。接下来，我们通过实验证明value决定物体的风格（即"