最强开源模子来了！一文详解 Stable Diffusion 3 Medium 特点及用法

前言

最强开源模子来了！一文详解 Stable Diffusion 3 Medium 特点及用法（附模子资源包）

各人好，我是AI绘画小33~
备受等待的 Stable Diffusion 3（以下简称 “SD3”）终于向公众开放了，作为 Stability AI 迄今为止开始辈的文本到图像开源模子，SD3 在图像质量、文本内容天生、复杂提示明白和资源服从方面有了明显提升，本日就为各人详细先容一下 SD3 的特点以及如安在 ComfyUI 中使用它。
一、SD3 简介

此次开放的模子精确来说是 Stable Diffusion 3 Medium，包罗 20 亿参数，具有体积小、恰当在斲丧级 PC 和条记本电脑上运行的长处，以是平常人也可以将其摆设到本身的电脑上使用。SD3 Medium 的长处包罗：
① 图像质量团体提升，能天生照片般细节传神、色彩漂亮、光照天然的图像；能机动顺应多种风格，无需微调，仅通过提示词就能天生动漫、厚涂等风格化图像；具有 16 通道的 VAE，可以更好地表现手部以及面部细节。

② 可以大概明白复杂的天然语言提示，如空间推理、构图元素、姿势动作、风格形貌等。对于「第一瓶是蓝色的，标签是“1.5”，第二瓶是赤色的，标签是“SDXL”，第三瓶是绿色的，标签是“SD3”」如许复杂的内容，SD3 仍然能精确天生，而且文本效果比 Midjourney 还要精确。

③ 通过 Diffusion Transformer 架构，SD3 Medium 在英文文本拼写、字距等方面更加精确公道。Stability AI 在发布 SD3 官方公告时，头图就是直接用 SD3 天生的，效果非常惊艳。

别的此次 SD3 Medium 模子的授权范围是开放的非商业允许证，也就是说没有官方允许的情况下，模子不得用于商业用途，这点是须要各人注意的。
二、在 ComfyUI 中使用

SD 3 Medium 模权重已经在 huggingface 上放出了， 我们可以在 ComfyUI 摆设工作流来使用它，详细操纵如下：
① 将 ComfyUI 更新到最新版本，以支持 SD3 的顺遂运作。
② 下载模子权重： https://huggingface.co/stabilityai/stable-diffusion-3-medium （下载时须要先填写一份表格，包管本身不会将模子用于商用用途；可以直接在文末的百度云盘内下载）。官方提供了 4 种大模子文件：
sd3_medium：4.3G，独立主模子，不包罗文本编码器（clip 模子）；
sd3_medium_incl_clips.safetensors：5.97G，包罗 clip_g 和 clip_l 编码器；
sd3_medium_incl_clips_t5xxlfp8.safetensors：10.9G，包罗 clip_g、clip_l 和 t5xxl_fp8 编码器；
sd3_medium_incl_clips_t5xxlfp16.safetensors：15.8G，包罗 clip_g、clip_l 和 t5xxl_fp16 编码器。

③ 别的尚有 4 个 Clip 文件和 3 种工作流。大模子的安装位置为根目次的 comfyui/models/checkpoints 文件夹，Clip 模子的安装位置为 comfyui/models/clip 文件夹。现实应用中不须要每一个模子都下载，背面会为各人先容现在使用较多的 2 种工作流，可以看完之后再确定下载哪些文件。

SD3 工作流 ①

这个使用的是官方提供的 basic 根本 工作流，可以在 comfyui_example_workflow 文件加中下载使用 。这个工作流须要用的模子文件有 4 种：sd3_medium、clip_g、clip_l 和 t5xxl_fp8。这是最完备妥当的一种工作流。

SD3 工作流 ②

这个工作流可以在云盘内下载，它只使用了一个模子文件 sd3_medium_incl_clips_t5xxlfp8.safetensors。这个模子已经融合了 3 种 clip 模子，以是不再须要 clip loader 这个节点，用起来更简单。

使用 SD3 时，尚有 2 个小本领可以帮我们提升出图质量：
① 是在天生写实照片以及人物面部的，可以将 cfg 参数参数调低至 2-3 之间，细节和质量会更好；包罗文本时，照旧使用 cfg 4.5 大概 5 时效果会更好。各人也可以多探索一些其他 cfg 参数能产生的效果。
② SD3 模子更恰当天然语言提示词，而不是标签式的提示词，你可以详细形貌你须要的画面内容、构图、色彩、氛围，纵然提示词很长，SD3模子也能处理惩罚的很好。

三、SD3 存在的不敷

固然 SD3 在图像质量、细节、对提示词的明白、文本内容生本钱领上有了显着提升，但是也存在一些不敷，比如在天生手部的时间仍然会出现错误，以及在天生 “lying（躺）” 这个姿势时，人物会出现严肃的崩坏。有人推测是由于 SD3 对内容安全有严格查察，导致干系内容受到影响。

不外总体上来说 SD3 在图像天生质量以及团体性能上都比之前的 SD1.5、SDXL 提升许多。固然有 Midjourney V6 以及 sdxl 微调模子珠玉在前，让 SD3 显得没有那么惊艳，但是作为一个免费的模子能到达如许的效果已经非常惊人了。
之前 SD1.5、SDXL 模子的直出图像质量不绝也不太行，但是在开源社区的积极下，各种衍生模子的质量不绝都非常不错，乃至凌驾了一些闭源模子。以是我们可以等待一下 SD3 未来的生态发展，等各种微调模子以及 Controlnet、IP-Adapter 这些的配套模子都跟上之后，SD3 肯定还能给我们带来新的惊喜。

这里直接将该软件分享出来给各人吧~
1.stable diffusion安装包

随着技能的迭代，现在 Stable Diffusion 已经可以大概天生非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替换，比如制作一个 logo 图片，画一张假造老婆照片，画质堪比相机。
最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！别的还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时间，每每册本源码难以明白，阅读困难，这时间视频教程教程是就很恰当了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学风趣才华更方便的学习下去。

3.stable diffusion模子下载

stable diffusion每每一开始使用时图片等无法到达理想的天生效果，这时则须要通过使用大量训练数据，调解模子的超参数（如学习率、训练轮数、模子巨细等），可以使得模子更好地顺应数据集，并天生更加真实、精确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模子表明和明白的单词的过程。可以把它明白为你告诉 AI 模子要画什么而须要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.SD从0到落地实战演练

如果你能在15天内完玉成部的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名SD大神的精确特性了。
这份完备版的stable diffusion资料我已经打包好，须要的点击下方插件，即可前往免费领取！