Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task3条记

                  ①初识ComfyUI

1.GUI是“图形用户界面”（Graphical User Interface）的缩写。它是一种使用图形元素如图标、按钮和窗口等来资助用户与软件或利用体系举行交互的用户界面范例。通过GUI，用户可以使用鼠标点击大概触摸屏幕来利用这些图形元素，从而实验下令大概利用数据，而不必要通过纯文本下令来举行交互。
2.GUI的分类(分为官方和第三方)

 

 主流GUI

 3.ComfyUI:
ComfyUI 是GUI的一种，是基于节点工作的用户界面，重要用于利用图像的天生技能，ComfyUI 的特殊之处在于它接纳了一种模块化的计划，把图像天生的过程分解成了许多小的步调，每个步调都是一个节点。这些节点可以毗连起来形成一个工作流程，如许用户就可以根据必要定制自己的图像天生过程。
上风:
模块化和机动性：ComfyUI 提供了一个模块化的体系，用户可以通过拖放差异的模块来构建复杂的工作流程。这种机动性允许用户根据自己的需求自由组合和调解模子、输入、输出、和其他处置处罚步调。
可视化界面：ComfyUI 提供了直观的图形界面，使得用户可以大概更清楚地明白和利用复杂的 AI 模子和数据流。这对没有编程配景的用户特殊有资助，使他们可以大概轻松构建和管理工作流程。
多模子支持：ComfyUI 支持多个差异的天生模子，用户可以在同一平台上集成和切换使用差异的模子，从而实现更广泛的应用场景。
调试和优化：通过其可视化界面，ComfyUI 使得调试天生过程变得更简朴。用户可以轻松地追踪数据流，辨认并办理标题，从而优化天见结果。
开放和可扩展：ComfyUI 是一个开源项目，具有高度的可扩展性。开辟者可以根据必要编写新的模块或插件，扩展体系功能，并根据项目需求举行定制。
用户友爱性：只管其功能强大，但 ComfyUI 仍然保持了用户友爱性，纵然对于复杂任务，也能以相对简朴的方式完成，使其成为天生式 AI 工作流程管理的有力工具。
4.根本逻辑:

         ②安装及浅尝ComfyUI工作流

根据步调完成带LoRA和不带LoRA的工作流样例

 可以清楚的看到两者画风差异，可见带LoRA的ComfyUI会与练习好的LoRA模子的风格保持划一，该工作流简化了许多利用，而且图像质量也有显着提升，然后我自己简朴调解了prompt

结果比之前的好了许多
               ③LoRA微调的原理

1.原有的参数+改动的量=新的参数 
微调的本质:改动的量(我们想提升的点)
把模子的部门本事放大，但是生存大模子的其他本事
2.全量微调:把每个参数通过学习的过程举行改动
3.PEFT(更高效的微调）——LoRA

 当改动的量太多时，许多模子本来具备的比力强的本事消散——模子本事的忘记
由于冗余信息的存在，全量微调中看似改变了许多变量，但现实上它的改动所带来的代价是有限的
D中清楚的标明确冗余信息的例子

4.LoRA微调的实质:使用矩阵和线性代数，将学习w等价为学习a和b，学习更少的参数就能到达学习原来大量参数的结果(平常易懂的表明)
k可调治，k越小，学习参数越小，k越大，学习参数越大
长处:节流大量的显存空间和资源
5.每个参数的作用:
pretrained_unet_path: 这是指定预练习UNet模子的路径。假如你渴望使用一个已经练习好的UNet模子作为根本模子，可以提供这个路径。假如你想重新开始练习一个新的UNet模子，那么你可以忽略此参数或将其设置为None。
pretrained_text_encoder_path: 指定预练习文本编码器的路径。这通常是一个基于Transformer或其他类似架构的模子，用于将文本转换成向量表现。同样，假如你想要重新开始练习新的文本编码器，可以忽略大概设置为None。
pretrained_fp16_vae_path: 指定预练习VAE模子的路径。VAE（变分自编码器）是一种天生模子，常用于图像天生任务。假如你有一个已有的VAE模子而且想用它来初始化你的模子，可以提供该路径。
lora_rank: 设置LoRA的秩（rank），影响模子的复杂度和性能。LoRA（局部低秩补丁）是一种用于微调大模子的技能，通过引入局部低秩近似来淘汰盘算资源。更高的秩大概会进步性能但增长盘算负担；较低的秩则大概低沉性能但节流资源。
lora_alpha: 设置LoRA的alpha值，控制微调的强度。较大的alpha值意味着更大的微调力度，大概导致更好的性能，但也有大概导致过拟合。
dataset_path: 指定用于练习的数据集路径。你必要提供一个有效的数据集路径，以便模子可以今后中获取练习样本。
output_path: 指定练习完成后生存模子的路径。这是你渴望将练习后的模子生存到的位置。
max_epochs: 设置最大练习轮数为1。这意味着模子将在数据集上举行一次完备的迭代后克制练习。你可以根据必要调解这个值，以决定模子应该练习多久。
center_crop: 启用中央裁剪，用于图像预处置处罚。中央裁剪是一种常见的图像预处置处罚技能，它会从图像的中央开始裁剪出指定巨细的部门。这对于将差异尺寸的图像标准化到同一尺寸非常有效。比方，在练习神经网络时，我们通常必要全部输入图像具有类似的尺寸。
use_gradient_checkpointing: 启用梯度查抄点，节流显存。梯度查抄点是一种优化战略，可以在反向传播过程中节流内存。它通过存储中心激活而不是整个前向通报的盘算图来实现这一点。当模子很大且批次巨细较大时，这种方法特殊有效。
precision: 设置练习时的精度为混淆16位精度（half precision）。混淆精度练习使用两种浮点格式：FP16和FP32。FP16用于大多数权重和激活，而FP32用于某些层和盘算，以保持数值稳固性。这种战略可以明显淘汰GPU内存斲丧，从而允许更大规模的模子练习或更大的批次巨细。
                ④实验LoRA微调

1.更换数据集
由于一开始是想做自己喜欢的画风，以是我选择自己创建一个数据集，于是我在魔搭上上传了自己的数据集(一开始我还不是这个方案，我以为上传个文件夹就好了，但是文件格式不一样，导致履历了重重报错，个中苦难临时不提），但是数据集对于prompt的工作量太大了，思量到时间标题，只能放弃，只上传了image(好吧着实是我不懂怎么搞prompt，对代码小白也太难了)

 so我选择了plan B，下载了个魔搭的数据集

 中心还履历了一个报错

下载完文件发现人家上传的是IMAGE ……(云云细节)

末了功夫不负故意人，结果还是不错滴

最满足的一张哈哈 (固然细节还是有点疑惑?)
八图就不放了，大概由于导入了太多数据集，画风有点紊乱
着实原来还想试试把这个更换数据集后的LoRA模子代入ComfyUI看一看是什么结果，不外由于搞不懂谁人所在怎么弄只能遗憾放弃了
末了做个简朴的小总结:本次夏令营真的学到了许多东西，感觉很有爱好!固然有许多困难(论履历报错的九九八十一难，有些办理了，有些还是有疑惑，偶然机做个汇总哈哈)不外作为纯代码小白对自己还是很满足的!