昇思练习营打卡第二十二天（Diffusion扩散模子）

Diffusion扩散模子是一种深度学习框架，紧张用于天生具有高真实性的图像、音频和文本数据。它基于物理学中的扩散过程，模拟数据从高维分布徐徐噪声化的过程，并通过学习这一过程的逆过程来天生数据。
以下是Diffusion扩散模子的根本原理和步调：

  

• 正向扩散过程（噪声添加过程）：
  
     
  
  • 从原始数据开始，徐徐添加随机噪声，直到数据变得完全随机。这个过程通常分为多个步调，每一步都向数据中添加肯定量的噪声。   
    
  • 正向过程的目的是学习数据分布，使得模子可以大概明白数据在各个阶段的特点。   
    
    
  
• 反向扩散过程（去噪过程）：
  
     
  
  • 从完全随机的噪声数据开始，徐徐去除噪声，规复出原始数据。这个过程也是分为多个步调，每一步都使用神经网络来推测去除噪声的过程。   
    
  • 反向过程的目的是练习一个可以大概从噪声数据中规复出原始数据的模子。   
    
    
  
• 练习过程：
  
     
  
  • 在练习过程中，模子必要学习如安在每个时间步长上推测去除噪声的操纵。   
    
  • 通常使用深度神经网络作为推测模子，通过最小化推测的去噪操纵与真实去噪操纵之间的差异来举行练习。   
    
    
  
• 天生过程：
  
     
  
  • 在天生数据时，从纯噪声数据开始，通过反向扩散过程徐徐去除噪声，终极得到天生的数据。   
    
  
  

构建Diffusion模子

1. def rearrange(head, inputs):
2.     b, hc, x, y = inputs.shape
3.     c = hc // head
4.     return inputs.reshape((b, head, c, x * y))
6. def rsqrt(x):
7.     res = ops.sqrt(x)
8.     return ops.inv(res)
10. def randn_like(x, dtype=None):
11.     if dtype is None:
12.         dtype = x.dtype
13.     res = ops.standard_normal(x.shape).astype(dtype)
14.     return res
16. def randn(shape, dtype=None):
17.     if dtype is None:
18.         dtype = ms.float32
19.     res = ops.standard_normal(shape).astype(dtype)
20.     return res
22. def randint(low, high, size, dtype=ms.int32):
23.     res = ops.uniform(size, Tensor(low, dtype), Tensor(high, dtype), dtype=dtype)
24.     return res
26. def exists(x):
27.     return x is not None
29. def default(val, d):
30.     if exists(val):
31.         return val
32.     return d() if callable(d) else d
34. def _check_dtype(d1, d2):
35.     if ms.float32 in (d1, d2):
36.         return ms.float32
37.     if d1 == d2:
38.         return d1
39.     raise ValueError('dtype is not supported.')
41. class Residual(nn.Cell):
42.     def __init__(self, fn):
43.         super().__init__()
44.         self.fn = fn
46.     def construct(self, x, *args, **kwargs):
47.         return self.fn(x, *args, **kwargs) + x
49. def Upsample(dim):
50.     return nn.Conv2dTranspose(dim, dim, 4, 2, pad_mode="pad", padding=1)
52. def Downsample(dim):
53.     return nn.Conv2d(dim, dim, 4, 2, pad_mode="pad

复制代码