AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

06-25 1515阅读

大家好,我是设计师阿威

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

(Stable diffusion生成的三上youya老师)

用AI进行画出不同人物,我们需要训练自己Lora模型。除了训练二次元人物之外,也常常要训练三次元人物。

比如福利姬老师可以训练自己然后穿上各种美美的衣服来拍照,减少自己的日常工作量。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

我们也可以训练模特人物之后,获得自己的AI模特。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

还有的女生,也有用自己照片训练自己的lora,可以让这个电子替身在赛博世界,替自己穿上美美的衣服,去各种地方,还能保留自己最美的年华和最好的样子。

总之,三次元炼丹还是有蛮多应用场景的。

但是,三次元炼丹比二次元炼丹相对要复杂一些(难一些),因为三次元里面的人物,是三维的,比二次元人物多一维,也就代表着机器需要学习更多数据才能学会你的人物特征,也意味着如果有一点没学会或者没学对,都会让你的人物训练功亏一篑(不像,崩图,泛化性差等)。

下面,给大家分享一下我们这边的炼丹经验和步骤吧。

1.下载训练包

(1)下载星空大佬的 lora训练包(如果你已经有了秋叶大佬的一键训练包,可以直接使用。本文以星空训练包为教程),秋叶一键训练包、星空Lora训练安装包下载请扫描获取哦

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

下载完解压。记得路径里面不要有中文。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

注意:该训练包需要自行配置Python环境,请务必确认自己的电脑安装有Python编译器

5.准备训练集(图片素材)

下面就以我们熟悉的三上Yua老师为例,来准备素材吧。

(1)准备好合适的照片集合,建议准备50张以上的照片素材,且分辨率需要是你目标训练分辨率的2倍以上(比如你想训练512x512的,那素材至少1024x1024),方便后续裁剪和加工。不要少于30张。要有不同的角度。不能都是正脸大头照。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

注意:

脸部有遮挡的不要(比如麦克风,手指,杂物等),

背景太复杂的不要(比如广告板,上面一堆字,或者夜市背景太乱)

分辨率太低的不要(目标分辨率2倍以下的不要,方便裁切),

光影比较特殊的不要(比如暗光,背光等)。

不像本人特征的不要(比如大部分训练集都是长发,那么短发显脸大的不要)

化妆太浓重的,美颜太严重的不要。

(2)把图像裁剪成合适大小。

训练真人建议至少裁剪成512*768,如果显存够大,最好裁剪成1024像素以上。(图像越大,训练速度越慢,显存占用越高)

我们用photoshop,美图秀秀之类的软件手动裁剪图像。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

6.Tag打标和tag整理

(1)在stable diffusion webui 的 train(训练)-preprocess images(图片预处理)下面,输入你裁剪后的图片地址和输出结果地址。

下面输入图片尺寸(或者你想裁剪成的图片尺寸。上面说的裁剪图片最懒最快的方法就是这里)。

接着选择split和use deepbooru for caption。

再点击preprocess开始对图片进行处理。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

预处理完,你会发现目标文件夹里面每个图片旁边出现了一个txt文件,打开一看,里面是每张图片的tag(标签)

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

(2)整理每个图片的标签,每个图片对应的标签第一句加上你要训练的 trigger word(触发词),比如我要叫做 sanshangyua,就打开每一个tag文件(txt)文件,在最前面加入sanshangyua这个关键词。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

部分专属人物特征需要从tag里面删除。

部分tag里面没体现的重要场景可以手工补充tag。也可以用类似tagger之类的工具再跑一次tag来优化。

7.设置训练文件夹

训练包里面新建一个train文件夹,里面放上你要训练的触发词,建一个文件夹。比如我就建一个sanshangyua文件夹,下面再建一个10_sanshangyua文件夹,里面放入刚刚处理完的图片文件和tag文件。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

8.设置训练参数并开始训练。

(1)右键点击并用powershell运行训练包里面的run.ps1文件

(2)根据运行结果把提示的地址放浏览器地址栏打开

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

(2)选择训练基础模型,建议使用sd1.5或者chilloutmix系列模型。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

(3)设置训练集地址和输出地址以及训练的lora名字

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

(4)打开训练参数(training paramenters)页面设置训练参数,没有标注的参数新手请按默认值。老手可以调着玩。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

(5)训练参数-高级设置,use 8bit adam的勾记得去掉。其他的基本不用动。然后点击最下面的开始训练。

AI绘画-Stable Diffusion三次元人物模型训练(炼丹)教程,你也可以定制你的三上youya老师!

(注意,我这768x1152的分辨率在执行的时候报错了,显示说 assert max(resolution)

VPS购买请点击我

文章版权声明:除非注明,否则均为主机测评原创文章,转载或复制请以超链接形式并注明出处。

目录[+]