Learning Multi-dimensional Human Preference for Text-to-Image Generation

Paper name
Learning Multi-dimensional Human Preference for Text-to-Image Generation
Paper Reading Note
Paper URL: https://arxiv.org/abs/2405.14705
Project URL: https://wangbohan97.github.io/MPS/
Code URL: https://github.com/Kwai-Kolors/MPS
TL;DR

• 2024 年快手提出的文生图评测方案，提出了多维度偏好评分（MPS），这是首个用于评估文本天生图像模子的多维度偏好评分模子。
  

---

Introduction

配景

“There are a thousand Hamlets in a thousand people’s eyes.” – Vissarion Belinsky

• 当前的文本天生图像模子的指标通常依靠于统计度量，这些度量不敷以真实反映人类的偏好。
  
• 只管近来的研究试图通过人工标注的图像来学习这些偏好，但它们将人类丰富的偏好简化为一个团体评分。然而，当人类从差异方面评估图像时，偏好效果会有所差异。
  
  
  
  • 当人们从差异角度评估图像时，他们对图像的偏好也会有所差异。具体来说，当查察顶部行的图像时，只管左侧的图像在美学吸引力方面表现突出，但在语义对齐（比方，河上的两艘船）方面却不如右侧的图像。在底部行的例子中，只管两张图像在美学上都很吸引人，但右侧图像由于细节质量差（比方，被赤色边框标注的扭曲的手和脚）而受到影响。
    
    
    
    
  
  

本文方案

• 为了学习多维度的人类偏好，我们提出了多维度偏好评分（MPS），这是首个用于评估文本天生图像模子的多维度偏好评分模子。
  
• MPS 在 CLIP 模子上引入了偏好条件模块，以学习这些多样化的偏好。它基于我们的多维度人类偏好（MHP）数据集举行训练，该数据集包罗 607,541 张图像上的 918,315 个关于 4 个维度（即美学、语义对齐、细节质量和团体评价）的人类偏好选择。这些图像由多种最新的文本天生图像模子天生。MPS 在 3 个数据集的 4 个维度上都优于现有的评分方法，使其成为评估和改进文本天生图像的有远景的指标。
  
• 紧张贡献如下：
  
  
  
  • 我们引入了多维度人类偏好（MHP）数据集，用于评估文本天生图像模子。MHP包罗平衡的提示词和带有多维度标注的最大图像聚集。基于MHP，我们提出了一个尺度测试基准，用于评估现有的文本天生图像模子。
    
  • 我们提出了MPS模子，它学习多维度人类偏好并在差异偏好条件下评估天生图像的分数。
    
  • 我们的MPS在推测团体偏好和多维度偏好方面表现优于现有方法，在三个数据集上表现出色。
    
  
  

Methods

MHP 数据集

提示词网络与标注

• 多个数据库经心网络，包罗 PromptHero、DiffusionDB 以及 KOLORSdataset （一个内部计划师平台衍生的内部数据集）
  
• 根据 parti 的分类架构，确定了 7 个种别，如下图所示。基于人工对最初网络的 59396 个提示词举行标注，筛选出非常的提示词，比如不连贯、难以明白或有标点错误的。筛选后剩余 52057 个提示词。别的通过 GPT4 增广缓解长尾分布标题，增广后有 66389 个提示词。
  
  
  
  

图像网络与标注

• 使用了 Diffusion 模子（如 Stable Diffusion 系列和 DeepFloyd IF）、GAN 和自回归模子，基于得到的提示词天生图像。每个模子为每个提示词天生 2-4 张图像。天生的图像来自各种模子架构，具有差异的图像分辨率（比方，512×512、1024×1024、1366×768）和纵横比（比方，1:1、16:9）。类似模子大概也会用差异随机种子天生多个图像。
  
• 人工标注对以上天生的图像举行评价：
  
  
  
  
  
  
  • 美学：标注员应根据图像的构图、光影对比、色彩搭配、清晰度、色调、风格、景深、氛围和艺术性来权衡天生图像对的美学质量。
    
  • 细节质量：标注员应关注图像细节的精致水平，比方纹理、毛发、光影是否存在脚色的脸部、手和肢体扭曲，团体视图是否暗昧、物体扭曲、严峻变形等标题。
    
  • 语义同等性：标注员应评估天生图像与提示词的语义同等性，评估内容包罗天生图像是否正确匹配文本形貌（比方，数目、属性、位置、位置关系）以及天生图像中是否存在缺失或冗余内容。
    
  • 团体评估：基于上述各方面的组合和主观偏好，标注员从团体角度评估每张天生图像的质量。
    
  
  

统计数据

• 网络了 66,389 个提示词，并使用 9 个最新的文本天生图像模子天生了 607,541 张图像。构建了 918,315 对图像。值得注意的是，此中 20% 的图像对是使用类似模子但差异设置天生的，而别的 80% 是由差异模子天生的。
  
• 标注数据分为训练集、验证集和测试集。训练集和验证集分别包罗 898,315 对和 10,000 对图像对，测试集包罗 10,000 对图像对。
  

MPS 模子

MPS 模子架构

• CLIP 提取图像和提示词、偏好条件的特性。
  
• 图像和提示词基于 cross attention 模块举行特性提取。
  
• 根据差异的偏好添加，提示词中的特定词语应得到更多的关注，比如当美学被思量为一个条件时，提示词中与颜色、光线和清晰度干系的词语在盘算分数时应更多地被思量。因此，提出了条件掩码来突出干系的 tokens，同时克制不干系的 tokens。
  
  
  
  

训练

我们的目的函数的输入包罗我们的评分函数 MPS S(x,y∣c)S(x, y | c)S(x,y∣c)、提示词 x、两个天生的图像 y1、y2、偏好条件 c 和偏好分数（由人类标注） p，此中 p 取 [1, 0] 表现 y1 被偏好，[0, 1] 表现 y2 被偏好，或 [0.5, 0.5] 表现平手。按照之前的工作，训练目的最小化表明 p 与 softmax 归一化推测 pi,c^\hat{p_{i,c}}pi,c​^​ 之间的 KL 散度：
LP=∑c∑i=12pi,c(log⁡pi,c−log⁡pi,c^)L_P = \sum_{c} \sum_{i=1}^{2} p_{i,c} \left(\log p_{i,c} - \log \hat{p_{i,c}}\right)LP​=c∑​i=1∑2​pi,c​(logpi,c​−logpi,c​^​)
我们使用预训练的 CLIP-H 模子的参数初始化文本和视觉编码器 EtE_tEt​ 和 EvE_vEv​，而别的参数则随机初始化。我们在 MHP 数据集上训练 MPS 30,000 步，批次巨细为 128，学习率为 3e-6，并设置 500 步的预热期。
Experiments

评测设置

偏好条件设置
我们使用以下词聚集来表现人类偏好：

• 美学: 光线、颜色、清晰度、色调、风格、氛围、艺术性。
  
• 细节质量: 外形、面部、头发、手、四肢、结构、实例、纹理。
  
• 语义对齐: 数目、属性、位置、数字、位置关系。
  
• 总体: 光线、颜色、清晰度、色调、风格、氛围、艺术性、外形、面部、头发、手、四肢、结构、实例、纹理、数目、属性、位置、数字、位置关系。
  

评估设置
我们选择了广泛使用的统计指标来评估文本天生图像模子，即 CLIP 分数和美学分数举行比力。别的，我们还选择了符合人类偏好的方法来评估文本天生图像模子，包罗 Image Reward、HPS 和 PickScore。根据以往的工作，我们使用公开可用的预训练模子举行评估，而无需举行微调。
总体偏好正确性

• MPS 在三个评测数据集上表现出更好的正确性
  
  
  
  

多维偏好正确性

• CLIP 分数和美学分数关注特定范例的偏好，仅在某些偏好（比方语义对齐或美学）上表现精良。然而，与基于人类偏好训练的模子相比，它们在推测其他偏好方面表现不佳。
  
• 偏好模子通常在总体得分和某些其他维度上表现较好，但在某些特定偏好（比方细节）上的泛化本领不敷。
  
  
  
  
• 偏好模子通常在总体得分和某些其他维度上表现较好，但在某些特定偏好（比方细节）上的泛化本领不敷。我们在图 5 中显现了这种泛化不佳的潜伏缘故因由。在图 5 的第一行和第二行中，评分函数仅与所训练的偏好（如语义对齐和总体得分）高度干系，但在其他偏好上表现不佳。须要注意的是，差异偏好的推测是基于类似的数据，只是标注的偏好差异。这表明并非全部偏好都猛烈干系，这导致在一个偏好上的改进大概以捐躯其他偏好为代价。因此，仅学习单一得分不敷以充实反映人类偏好的复杂性。相比之下，我们的 MPS 通过条件掩码从多个维度学习人类偏好，并在全部维度上保持了人类偏好的高度同等性，如图 5 第三行所示。
  
  
  
  

可视化

• 可视化了 MPS 在推测人类偏好时关注的图像和提示的注意力图。使用 GradCAM 和 fv,t 天生图像的注意力热图，使用 Mc 的值表现提示的注意力热图。
  
  
  
  
  
  
  • HPS 会根据具体的偏好条件关注提示和图像的差异地区。这归因于条件掩码，该掩码仅允许与偏好条件干系的提示词被图像关注。条件掩码确保模子使用差异的输入推测偏好，模子只需盘算图像中的补丁与生存的部门提示之间的相似性即可确定终极得分。因此，条件掩码的选择性关注使得使用同一的模子来有用地推测多维偏好成为大概，纵然某些偏好与其他偏好的干系性较弱。
    
  
  

溶解实行

• 交织注意力在 overall 上涨点显着，Mask 提升了各个偏好的性能，而且比单独训练每个偏好的单个模子性能更好
  
  
  
  

Thoughts

• 多维度偏好评分确实有应用场景
  
• cross attention 和 mask 的 MPS 网络架构看起来挺公道的，用同一个模子同时在多个偏好维度举行评测，给每个偏好单独训练一个评估模子确实会不公道