Datawhale 魔搭 AI夏令营 第四期 AIGC方向 -Tesk3-进阶上分-实战优化

前言

        在上一个task中，我们对baseline举行了逐行精读，我们学会了使用AI工具来资助我们更快更好地学习。别的我们制作了一个话剧连环画，同时我们对零代码文生图平台secpter webui也有了一个开端的明白。
        本日的任务是相识微调的根本原理，然后我们会对微调的各种参数有一个更加清楚的相识，来实现一个更好的结果，而且在这个Task中会给各人先容一下文生图的工作流平台工具ComfyUI，来实现一个更加高度定制的文生图。
工具初探一ComfyUI应用场景探索

        什么是ComfyUI，要想表明ComfyUI，就不得不先先容GUI。GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。ComfyUI 是以GUI的情势将图片天生的每一个步调酿成一个节点，这些节点可以毗连起来形成一个工作流程，如许用户就可以根据须要定制自己的图像天生过程。
        ComfyUI核心模块由模子加载器、提示词管理器、采样器、解码器。模子加载器：Load Checkpoint用于加载根本的模子文件，包罗了Model、CLIP、VAE三部门

CLIP模块，也就是提示词管理器，将文本范例的输入变为模子可以明白的latent space embedding作为模子的输入

​采样器：用于控制模子天生图像，差别的采样取值会影响终极输出图像的质量和多样性。采样器可以调治天生过程的速率和质量之间的平衡

解码器：VAE模块的作用是将Latent space中的embedding解码为像素级别的图像

这里以Stable Diffusion为例表明采样参数，Stable Diffusion的根本原理是通过降噪的方式（如完全的噪声图像），将一个原来的噪声信号变为无噪声的信号（如人可以明白的图像）。此中的降噪过程涉及到多次的采样。采样的系数在KSampler中设置

•         seed：控制噪声产生的随机种子
  
•         control_after_generate：控制seed在每次天生后的变革
  
•         steps：降噪的迭代步数，越多则信号越精准，相对的天生时间也越长
  
•         cfg：classifier free guidance决定了prompt对于终极天生图像的影响有多大。更高的值代表更多地显现prompt中的形貌。
  
•         denoise: 多少内容会被噪声覆盖 sampler_name、scheduler：降噪参数。
  

ComfyUI图片天生流程

速通ComfyUI

在这里，我们仍旧选择使用魔搭社区提供的Notebook和免费的GPU算力体验来体验ComfyUI。

下载安装ComfyUI的实行文件和task1中微调完成Lora文件

2. git lfs install
3. git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
4. mv kolors_test_comfyui/* ./
5. rm -rf kolors_test_comfyui/
6. mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
7. mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

复制代码

进入ComfyUI的安装文件

一键实行安装步调

进入预览界面
实行到末了一个节点的内容输出了一个访问的链接的时间，复制链接到欣赏器中访问
PS：假如链接访问白屏，大概报错，就等一会再访问重试，步调大概没有正常启动完毕
浅尝ComfyUI工作流
将之前Lora训练的工作脚步加载

（这里的Lora是我们Task1微调训练出来的文件
地点是：/mnt/workspace/models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt
各人如有有其他的Lora文件，可以在下面截图Lora文件地点地域更换成自己的地点）
像之前一样，可行修改提示词来天生自界说的图片。
这是我的Loran的训练模子（可以在ComfyUI，点击Save下载）

链接：