Stable Diffusion【进阶篇】：怎样实现人脸同等

各人好，我是步调员晓晓。
在AI绘画中，不绝都有一个比力困难的题目，就是怎样包管每次出图都是同一个人。本日就这个题目分享一些个人实践，各人和我一起来看看吧。
一. 有哪些实现方式
方式1：固定Seed种子值。
固定Seed种子值出来的图片人物确实可以做到同等，但Seed种子值是相对整个画面的，导致这种方式天生的新图片结果差异太小，大概除了人物的脸生存了同等，人物的姿势也保持了同等，乃至画面的配景也保持了同等，出来的图片太过单调。
此时我们固然可以通过ContolNet来控制人物的姿势，但是结果并不可控。
方式2：使用roop插件
roop插件是我们常见的换脸插件，将天生的图片中人物都使用一张人脸图片去更换，可以很好地做到图片中人脸同等。关于使用roop插件实现换脸可以参考我之前的文章
方式3：针对多张真人照片练习LORA模子
LORA模子可以固定人物特性、动作特性和照片风格。同一个人物的多张真人照片去炼丹练习LORA模子须要肯定的技能根本，而且调优费事费力，对很多人来说也不太实际。
方式4：直接使用已有的人物LORA模子
直接使用C站提供的LORA模子，我们也可以天生人脸根本同等的图片。这里的根本同等，不能百分百同等。由于每个人物Lora的练习数据集不肯定很全面，重要包罗数目、质量、角度等因素差异，出的图很难包管人脸完全同等。
方式5：使用ControlNet预处理惩罚Reference only
下面我们重点看一下方式4和方式5，尤其是方式5，是如今实现人脸同等结果的最好方式，不但实用于人，而且还实用于动物，二次元。
二. LORA模子实现人脸同等的结果
01、LORA模子cuteGirlMix4
我们先通过一个实例看看怎样通过LORA实现人脸同等结果。
大模子：majicmixRealistic_v6.safetensors
正向提示词：a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,red sweater, necklace,standing in the classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,lora:cuteGirlMix4\_v10:1
反向提示词：(worst quality:2), (low quality:2), (normal quality:2), lowres, ((monochrome)), ((grayscale)), bad anatomy,DeepNegative, skin spots, acnes, skin blemishes,(fat:1.2),facing away, looking away,tilted head, lowres,bad anatomy,bad hands, missing fingers,extra digit, fewer digits,bad feet,poorly drawn hands,poorly drawn face,mutation,deformed,extra fingers,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowres,bad body,bad proportions,gross proportions,missing arms,missing legs,extra digit, extra arms, extra leg, extra foot,teethcroppe,signature, watermark, username,blurry,cropped,jpeg artifacts,text,error
LORA模子cuteGirlMix4权重设置为1。

我这里将LORA模子cuteGirlMix4调解到0.6，我们再看一下结果。

4张玉人的脸差异有些显着了。
关于LORA模子cuteGirlMix4，官网保举搭配的模子是Chilloutmix。它的练习集来自国外抖音(tiktok)网红，而不是任何特定的真人，权重修议值是0.4-0.7。我们看到当权重设置为1时，人物的结果还是比力好。
可见，将LORA模子cuteGirlMix4的权重设置为1，可以根本实现人脸的同等。
02、LORA模子chinese-girl

LORA模子chinese-girl是从微博/小红书等网站找到的100+张时尚/穿搭博主的图片制成的lora。发起LORA模子权重小于0.8，采样器为DPM++ SDE karras , 采样迭代步数为25。
我们仍然以上面大模子和提示词为例来看一下结果。

将LORA模子chinese-girl的权重设置成1，天生的图片结果显着不太好。而且将LORA的权重设置为1，玉人的脸看起来还是不一样。从图中可以看到只是人脸的外貌保持了同等。
将LORA模子chinese-girl的权重设置成0.6。

天生图片的结果好很多了，但是4张玉人的人脸也不同等了。
从上面我们可以看到：
（1）针对某些人物的LORA，将权重设置为1，可以根本实现人脸同等的结果。
（2）某些人物的LORA发起值范围都小于1，将权重设置为1，天生的图片结果会失真。如许的LORA无法实现人脸同等的结果。
（3）将人物LORA的权重设置小于1，一样寻常无法实现人脸同等的结果。
既然很多人物的LORA权重设置要求小于1，那么我们使用多个LORA，包管多个LORA的权重值之和为1，是否就可以实现人脸同等的结果呢？
比方你拥有60%的LORA A模子特性，20%的LORA B模子特性，20%的LORA C模子特性。这个时间使用假如要实现人脸同等的话，难度相称高。由于这涉及到3个差异的LORA模子的融合，须要大量的天生图片，抽签找到两张脸一样的照片。
大模子：majicmixRealistic_v6.safetensors
正向提示词：a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,red sweater, necklace,standing in the classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper, lora:cuteGirlMix4\_v10:0.6,lora:koreanDollLikeness\_v10:0.2 ,lora:chilloutmixss30\_v30:0.2

三. 使用ControlNet预处理惩罚Reference only实现人脸同等
Reference only是本年5月份ControlNet庞大更新中推出的新功能。它不须要任何控制模子即可实现直接使用一张图片作为参考来引导扩散。
我们来使用看一下结果。
大模子：majicmixRealistic_v6.safetensors
正向提示词：a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes,red sweater, necklace,standing in the classroom, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper, lora:cuteGirlMix4\_v10:0.6
采样器：DPM++ SDE Karras
采样迭代步数：28
天生的图片结果如下：

我们使用这张图作为底图，使用ControlNet的预处理惩罚

我们修改一下正向提示词：将配景换为海边，衣服换为皮夹克。
a beautiful girl, very delicate features, very detailed eyes and mouth, long hair, delicate skin, big eyes**,leather jacket,necklace, standing by the sea, upper body photos,best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,
天生图片的结果如下：

我们修改一下大模子，改变一下画面风格，比方换成anything-v4.5-pruned-fp16.ckpt，提示词和参数设置都保持稳定。我们看一下天生图片的结果。

我们再看一个实例：一只奔驰的狗
大模子：majicmixRealistic_v6.safetensors
正向提示词：best quality, ultra-detailed, masterpiece, finely detail, highres, 8k wallpaper,a  running dog
采样器：DPM++ SDE Karras
采样迭代步数：28
天生的图片结果如下：

我们使用这张图作为底图，使用ControlNet的预处理惩罚。

重新天生结果如下：

通过上面的实例，可以看到通过使用ControlNet的预处理惩罚reference-only实现人物（动物）的同等结果还是相称不错的。然后我们再通过配景的改变，实现同一个人物在差异场景下的图片结果了。
好了，本日的分享就到这里了，实现人脸同等的结果不绝都优劣常困难的题目，不管是SD工具，在MD上面也是一样，对于这类题目各人可以多思索，多研究，多实践，对于我们本领的提拔还优劣常有资助的。
写在末了

感爱好的小同伴，赠送全套AIGC学习资料，包罗AI绘画、AI人工智能等前沿科技教程和软件工具，详细看这里。

AIGC技能的将来发展远景广阔，随着人工智能技能的不绝发展，AIGC技能也将不绝进步。将来，AIGC技能将在游戏和盘算范畴得到更广泛的应用，使游戏和盘算体系具有更高效、更智能、更机动的特性。同时，AIGC技能也将与人工智能技能细密联合，在更多的范畴得到广泛应用，对步调员来说影响至关紧张。将来，AIGC技能将继承得到进步，同时也将与人工智能技能细密联合，在更多的范畴得到广泛应用。
 

一、AIGC全部方向的学习蹊径
AIGC全部方向的技能点做的整理，形成各个范畴的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，包管自己学得较为全面。

二、AIGC必备工具
工具都帮各人整理好了，安装就可直接上手！

三、最新AIGC学习条记
当我学到肯定根本，有自己的明确本领的时间，会去阅读一些先辈整理的册本大概手写的条记资料，这些条记详细纪录了他们对一些技能点的明确，这些明确是比力独到，可以学到不一样的思绪。

四、AIGC视频教程合集
观看全面零根本学习视频，看视频学习是最快捷也是最有结果的方式，跟着视频中老师的思绪，从根本到深入，还是很容易入门的。

五、实战案例
纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才气将自己的所学运用到实际当中去，这时间可以搞点实战案例来学习。

如有侵权，请接洽删除