【Stable Diffusion】ControlNet 详解篇

一、前言

女模特总是不配合？用它！游戏原画没灵感？也用它！[构筑绘画]各行各业筹划都用它！它就是 ControlNet ！只需简单调整参数就能产出无穷创作灵感，进步我们的创作服从！
这款 SD 插件已成为了AI 绘画范畴最新的热门。而它的出当代表着 AI 天生开始进入真正可控的时期，而 AIGC 的可控性是它进入实际生产最关键的一环。在此之前，各人用了很多方法想让 AI 天生的效果尽大概符合要求，但都不尽如人意，ControlNet 比之前 img2img 要更加精准和有效，可以直接提取画面的构图，人物的姿势和画面的深度信息等等。有了它的资助，就不消频仍用提示词来碰运气抽卡式创作了。今天我们就详细探究下 ControlNet 的各项参数，带着各人进入绘画创作的新大门！
二、ControlNet 缘起简介

ControlNet 作者：张吕敏，他是2021年本科毕业，如今正在斯坦福读博的中国人，为我们这位年轻同胞点赞。ControlNet 是作者提出的一个新的 神经网络 概念，就是通过额外的输入来控制预练习的大模子，比如 stable diffusion。这个本质其实就是端对端的练习，早在2017年就有类似的AI模子出现，只不外这一次由于到场了 SD 如许优质的大模子，让这种端对端的练习有了更好的应用空间。它很好的办理了文生图大模子的关键标题：单纯的关键词控制方式无法满足对细节精确控制的需要。
之前很火的 Style2Paints 也是这位作者制作的，除此之外他还做了一款名为 YGO PRO 2 的 Unity 纸牌游戏 ，这款游戏在国表里都有不少粉丝。

AI线稿上色这个范畴他也有涉猎，Style2Paints 就是他创作的应用，已经迭代到了第5版。下图是 Style2Paints 线稿到插画的示例。项目地址：[https://github.com/lllyasviel/style2paints

三、根本参数先容

1. 启用（Enable）

勾选此选项后，点击 “天生” 按钮时，ControlNet 才会收效。
2. 反色模式（Invert Input Color）

将图像颜色举行反转后应用。
3. RGB 转 BGR（RGB to BGR）

把 颜色通道 举行反转，在 NormalMap 模式大概会用到。
4. 低显存优化（Low VRAM）

低显存模式，假如你的显卡内存小于便是4GB，建议勾选此选项。
5. 无提示词的猜测模式（Guess Mode）

也就是盲盒模式，不需要任何正面与负面提示词，出图效果随机，很有大概产买卖想不到的惊喜效果！
6. 预处置处罚器 （Preprocessor）

在此列表我们可选择需要的预处置处罚器，每个 ControlNet 的预处置处罚器都有不同的功能，后续将会详细先容。
7. 模子（Model）

配套各预处置处罚器需要的专属模子。该列表内的模子必须与预处置处罚选项框内的名称选择划一，才气包管精确天生预期效果。假如预处置处罚与模子不致其实也可以出图，但效果无法预料，且一样平常效果并不抱负。
8. 权重（Weight）

权重，代表使用 ControlNet 天生图片时被应用的权重占比。
9. 引导参与机遇（Guidance Start(T)）

在明白此功能之前，我们应该先知道天生图片的 Sampling steps 采样步数功能，步数代表天生一张图片要刷新计算多少次，Guidance Start(T) 设置为 0 即代表开始时就参与，默认为 0，设置为 0.5 时即代表 ControlNet 从 50% 步数时开始参与计算。
10. 引导退出机遇（Guidance End(T)）

和引导参与机遇相对应，如设置为1，则表示在100%计算完时才会退出参与也就是不退出，默认为 1，可调治范围 0-1，如设置为 0.8 时即代表从80% 步数时退出参与。
11. 缩放模式（Resize Mode）

用于选择调整图像巨细的模式：默认使用（Scale to Fit (Inner Fit)）缩放至合适即可，将会自动适配图片。
一共三个选项：Just Resize，Scale to Fit (Inner Fit)，Envelope (Outer Fit)
12. 画布宽度和高度（Canvas Width 和 Canvas Height）

画布宽高设置，请留意这里的宽高，并不是指 SD 天生图片的图像宽高比。该宽高代表 ControlNet 引导时所使用的控制图像的分辨率，假如你用 SD 天生的图片是 1000x2000 分辨率，那么使用 ControlNet 引导图像时，对显存的斲丧将黑白常大的；我们可以将引导控制图像的分辨率设置为 500x1000 ，也就是缩放为本来图像一半的分辨率尺寸去举行引导，这有利于节省显存斲丧。
13. 创建空缺画布（Create Blank Canvas）

假如之前使用过 ControlNet 功能，那么将会在 ControlNet 的图像地区留有汗青图片，点击该按钮可以清空之前的汗青，也就是创建一张空缺的画布。
14. 预览预处置处罚效果（Preview Annotator Result）

点击该按钮可以预览天生的引导图。比方：假如使用 Canny 作为预处置处罚器，那么点击该按钮之后，可以看到一张通过 Canny 模子提取的边缘线图片。
15. 匿伏预处置处罚效果（Hide Annotator Result）

点击该按钮可以匿伏通过 Preview 按钮天生的预览图像窗口（不建议匿伏）
四、预处置处罚器功能详解

ControlNet 的焦点本领就是能让我们通过设置各种条件来让AI更可控地天生终极图像效果。这些条件就是通过调治预处置处罚器参数来实现的，以是我们起主要先了解下 ControlNet 各种预处置处罚器的功能。
1. Canny 边缘检测

Canny 边缘检测预处置处罚器可很好辨认出图像内各对象的边缘外貌，常用于天生线稿。
· 预处置处罚器分辨率

预处置处罚器分辨率数值越高越精致，也越吃显存。但假如数值太低天生的线条也会很粗糙。默认512，详细设置时需根据素材巨细和实际环境来做权衡。

· 长和宽的阈值

这个值越高线条越简单，越低线条越复杂。

留意：肯定要找到和预处置处罚器对应名字一样的模子。

重绘幅度越高，AI越放飞自我。

Prompt: “cute dog”

给线稿上色制作的小动画效果也挺好。
2. Depth 深度检测

通过提取原始图片中的深度信息，天生具有原图同样深度结构的 深度图 ，越白的越靠前，越黑的越靠后。
· MiDaS 深度信息估算

MiDaS 深度信息估算，是用来控制空间距离的，类似天生一张深度图。一样平常用在较大纵深的风景，可以更好表示纵深的远近关系。
注：偶尔我们也可以用于天生遮罩 蒙版 。

· LeReS 深度信息估算

LeReS 深度信息估算比 MiDaS 深度信息估算方法的成像焦点在中心景深层，如许的优点是能有更远的景深，且中距离物品边缘成像会更清楚，但近景图像的边缘会比力暗昧，详细实战中需用哪个估算方法可根据需要机动选择。

如下图能看出我们很好地控制住了天生效果的 团体结构 ，这与原图根本保持划一。

3. HED 边缘检测

HED 边缘检测可生存更多柔和的边缘细节，类似手绘效果。

参数也是分辨率越高越精致，但也越吃显存。

Prompt: “oil painting of handsome old man, masterpiece”

相对于使用平凡的 img2img ，边缘线提取的方式可以天生更加清楚完备的图，玄色描边也得到了很好的重绘。

4. M-LSD 线条检测

M-LSD 线条检测用于天生房间、直线条的构筑场景效果比力好。

rompt: “room”

Prompt: “building”

5. Normal Map 法线贴图

Normal Map 法线贴图能根据原始素材天生一张纪录凹凸信息的法线贴图，便于AI给图片内容举行更好的光影处置处罚，它比深度模子对于细节的生存更加的精确。法线贴图在游戏制作范畴用的较多，常用于贴在低模上模仿高模的复杂光影效果。

· RGB 转 BGR

如需要把 Normal map 从 RGB 反转成 BGR 的可把这个选项勾上。（注：因坐标系标题，偶尔需要反转下通道信息，如天生效果的光照信息和你预期是反的，大概需要勾选此选项）

6. OpenPose 姿态检测

OpenPose 姿态检测可天生图像中角色动作姿态的骨架图，这个骨架图可用于控制 天生角色 的姿态动作。这个没有涉及手部的骨架，以是手部控制不可偶尔会出标题。

· OpenPose 姿态及手部检测

OpenPose 姿态及 手部检测 办理了姿态检测手的标题。如下图有了手部骨骼控制天生的手部效果会更好。

除了天生单人的姿势，它甚至可以天生多人的姿势，这点非常关键，在此之前AI天生的画面里多个人物的特定动作是险些无法靠提示词来实现的。

通过控制人物姿势，在人物角色筹划时也可以得到很好应用。

7. PiDiNet 边缘检测（像素差分网络，配合 hed 模子）

PiDiNet 边缘检测天生的线条较粗壮，类似镌刻效果。

这个预处置处罚器要配合选择 hed 模子效果才会比力好。

8. Scribble 涂鸦（要配合 scribble 模子）

设置画布高度和宽度，一样平常默认 512x512 就可以了，点击 “Create blank canves” 创建画布。

把画笔调小一点，勾画出想要的图像外貌（如下图）。

再添加一些提示词形貌，控制下天收效果。

终极天生的图像效果，如下图。

· Fake_Scribble 伪涂鸦

不消自己画，扔个图片给AI，天生类似涂鸦效果的草图线条。

9. Segmentation（ADE20k 语义分割，配合seg模子）

语义分割可多通道应用，原理是用颜色把不同范例的对象分割开，让AI能精确辨认对象范例和需求天生的区界。
OneFormer 地址：[https://huggingface.co/spaces/shi-labs/OneFormer]
ADE20K 颜色表：[https://drive.google.com/file/d/1lon9OBkWYFwj_xxh9lGFfkcQaZ0ErFAS/view]

10. Binary 二进制（ 优劣稿 提取）

Binary 二进制就是把图像酿成只有优劣两色（没有灰），如下图效果。

11. Clip_Vision 风格转移（配合 style 模子）

这是近期新出的一个模子，在实际使用中，选择预处置处罚的时候并没有预览图像，猜测是由于风格转移，一种风格并不好预览。
起首天生一张颜色丰富的照片，然后以该照片作为 ControlNet 输入，该预处置处罚器叫做 clip_vision，但是模子叫做 t2iadapter_style。风趣的是可以把一张照片的风格转移到别的一张上，如天赋生一把剑，再将上述颜色丰富的照片和剑团结，就可以得到下图效果。
   prompt: just a sword
Negative prompt: man, woman, person, protagonist
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2026071917, Size: 512x512, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, ENSD: 31337, ControlNet-0 Enabled: True, ControlNet-0 Module: canny, ControlNet-0 Model: control_sd15_canny [fef5e48e], ControlNet-0 Weight: 1, ControlNet-0 Guidance Start: 0, ControlNet-0 Guidance End: 1
  

参考：[https://github.com/TencentARC/T2I-Adapter/blob/main/docs/examples.md]

12. Color 色彩继承

色彩预处置处罚后会检测出原图中色彩的分布环境，分辨率影响色彩块的巨细。

不加任何提示词，天生的图像就艺术感爆棚，观察下颜色和检测出来的颜色分布趋于划一。

官方先容 [https://github.com/TencentARC/T2I-Adapter/blob/main/docs/examples.md]

五、附录

1. 预处置处罚器与对应模子清单

预处置处罚器名称对应ControlNet模子对应腾讯t2i模子功能形貌cannycontrol_cannyt2iadapter_canny边缘检测，恰当原画筹划师depthcontrol_deptht2iadapter_depthMiDaS深度检测depth_lerescontrol_deptht2iadapter_depthLeReS深度检测hedcontrol_hed无边缘检测但生存更多细节，恰当重新着色和风格化mlsdcontrol_mlsd无线段辨认，辨认人物功能极差，恰当构筑立计师normal_mapcontrol_normal无根据图片天生法线贴图，恰当CG或游戏美术师openposecontrol_openposet2iadapter_openpose t2iadapter_keypose提取人物骨骼姿势openpose_handcontrol_openposet2iadapter_openpose t2iadapter_keypose提取人物+手部骨骼姿势scribblecontrol_scribblet2iadapter_sketch应用自画的优劣稿fake_scribblecontrol_scribblet2iadapter_sketch涂鸦风格提取（很强盛的模子）segmentationcontrol_segt2iadapter_seg应用语义分割binarycontrol_scribblet2iadapter_sketch提取优劣稿clip_vision无t2iadapter_style风格转移color无t2iadapter_color色彩分布2. ControlNet 和 T2I-Adapter 有什么区别？

ControlNet 在论文里提到，Canny Edge Detector 模子的练习用了 300 万张边缘-图像-标注对的语料，A100 80G 的 600 个 GPU 小时。Human Pose （人体姿态骨架）模子用了 8 万张 姿态-图像-标注 对的语料, A100 80G 的 400 个 GPU 时。 T2I-Adapter 的练习是在 4 块 Tesla 32G-V100 上只花了 2 天就完成，包罗 3 种 condition，sketch（15 万张图片语料），Semantic segmentation map（16 万张）和 Keypose（15 万张）。 两者的差别：ControlNet 如今提供的预训模子，可用性完成度更高，支持更多种 condition detector （9 大类）。 T2I-Adapter ”在工程上筹划和实现得更简便和机动，更容易集成和扩展” 别的，T2I-Adapter 支持一种以上的 condition model 引导，比如可以同时使用 sketch 和 segmentation map 作为输入条件，或 在一个蒙版地区 (也就是 inpaint ) 里使用 sketch 引导。
关于AI绘画技能储备

学好 AI绘画 岂论是就业照旧做副业赢利都不错，但要学会 AI绘画 照旧要有一个学习规划。末了各人分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小同伴们一点资助！
对于0根本小白入门：
   假如你是零根本小白，想快速入门AI绘画是可以思量的。
  一方面是学习时间相对较短，学习内容更全面更会集。
二方面是可以找到恰当自己的学习方案
  包罗：stable diffusion安装包、stable diffusion0根本入门全套PDF，视频学习教程。带你从零根本体系性的学好AI绘画！

1.stable diffusion安装包 （全套教程文末领取哈）

随着技能的迭代，如今 Stable Diffusion 已经可以或许天生非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替换，比如制作一个 logo 图片，画一张假造老婆照片，画质堪比相机。
最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！别的还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往册本代码难以明白，阅读困难，这时候视频教程教程是就很恰当了，生动形象加上案例实战，一步步带你入门stable diffusion，科学风趣才气更方便的学习下去。

3.stable diffusion模子下载

stable diffusion往往一开始使用时图片等无法达到抱负的天收效果，这时则需要通过使用大量练习数据，调整模子的超参数（如学习率、练习轮数、模子巨细等），可以使得模子更好地顺应数据集，并天生更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模子表明和明白的单词的过程。可以把它明白为你告诉 AI 模子要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零根本学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思绪，从根本到深入，照旧很容易入门的。

实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才气将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。