【Efficient AIGC】SiTo: Similarity-based Token Pruning (AAAI-2025)

  
SiTo: Training-Free and Hardware-Friendly Acceleration for Diffusion Models via Similarity-based Token Pruning

   Paper: Training-Free and Hardware-Friendly Acceleration for Diffusion Models via Similarity-based Token Pruning
Code: https://github.com/EvelynZhang-epiclab/SiTo/tree/main
  配景

随着天生式模子，尤其扩散模子（Diffusion Models）的飞速发展，它们在图像天生、艺术创作、超分辨率等范畴显现了巨大的潜力。然而，这些模子通常陪同着极高的盘算本钱，导致在边缘装备和及时应用中的摆设面对巨大寻衅。针对这一标题， SiTo（Similarity-based Token Pruning）方法应运而生，它不但大幅度加快了扩散模子的推理速度，还在不捐躯天生质量的情况下，明显低落了盘算资源的斲丧。
先容

SiTo：加快扩散模子的创新办理方案
传统上，研究者们通过减少采样步数或压缩去噪网络等方式来低落扩散模子的盘算开销。然而，这些方法每每在一定程度上捐躯了天生质量。SiTo提出了一种全新的思绪，它通过引入底子令牌 (Base Token) 概念，自顺应地剪去冗余的令牌，从而在包管高质量天生效果的同时实现明显加快。
SiTo的三大核心创新
(I) 最大相似性：底子令牌被选为一组与所有其他令牌具有最高相似性的令牌。别的，在选择底子令牌后，进一步选择与底子令牌相似度最高的令牌作为剪枝令牌。这个选择底子令牌和剪枝令牌的计谋确保了高相似性，即底子令牌和剪枝令牌之间的差异较小，从而进一步最小化从底子令牌恢复剪枝令牌时的毛病。
(II) 均匀空间分布：经典的图像分析研究表明，图像同一区域的图块携带相似的信息，这意味着在空间维度上相邻的令牌大概具有相似的表现，因此，用空间相邻的令牌来恢复剪枝令牌比使用阔别的令牌更符合。因此，并不是直接从图像中的所有令牌中选择底子令牌，而是在图像的每个局部区域中选择一个底子令牌，以包管底子令牌在图像的差异空间位置上均匀分布。别的，由于底子令牌不会被剪枝，这种方案还确保了每个区域至少有一个令牌没有被剪枝，从而避免了令牌剪枝引入的毛病过于集中。
(III) 带有随机性的选择：前两条原则有效地最小化了单个去噪步调中令牌剪枝
带来的恢复毛病。然而，扩散模子的采样过程包罗多个去噪步调，相邻的步调具有相似的令牌表现。因此，底子令牌和剪枝令牌的选择在相邻时间步中大概非常相似，乃至是类似的。别的，如下图(b)所示，由于剪枝令牌是通过直接复制其最相似的底子令牌来恢复的，这些剪枝令牌每每会在所有后续的去噪步调中保持较高的相似性，因此它们很可