AI绘图：lora模型训练小心得

原创张婷三七互娱技术团队

点击上方蓝字关注我们

前言

随着大模型热潮来袭，aigc也变得触手可及了，不仅算法人员可以使用AI作画小工具，美术人员甚至小白选手也可以轻松上手AI作画了，特别是Stable diffusion的开源和civitai网站上开源模型推动了AI作画的普及化，现在训练个模型已经不是什么难事啦。

各个模型对比

目前AI作画模型分为Checkpoint（基础大模型）和额外迁移微调小模型（Textual Inversion、HyperNetwork、LoRA）,目前的当红辣子鸡非Lora莫属。

为什么我们要训练自己的模型呢？

很多时候可能有些模型无法满足我们的需求，训练自己的模型可以在现有模型的基础上，让AI懂得如何更精确绘制特定的风格、概念、角色、姿势、物件。

训练模型是一个复杂的概念，基于哪个checkpoint基础模型，以及喂的图片品质，图片的尺寸，图片的内容，还有训练时的参数，都会影响模型训练结果。

Textual Inversion、HyperNetwork、LoRA 都是属于小模型，相比于动不动好几G的大模型checkpoint来说，他们训练的时间相对比较短，而且训练图片也不需要太多，训练的成本不高，可以说是物美价廉，而且训练的小模型还可以使用多个模型混合使用，也可以自由的选择基础模型checkpoint来使用，总之灵活便利。

当然如果硬件条件允许的话（指有时间有条件收集大量数据集，以及有一个不错的gpu的话），花些时间去收集数据集和训练一个checkpoint大模型也不错。不过还是不推荐大家去尝试了，因为据说Stable Diffusion 1.5版的模型可是输入了23亿张图片训练出来的，我们普通人要想收集23亿或者上万数据集并对每一张图片进行打标签，简直是个艰巨的任务，所以推荐大家玩玩小模型就好了，毕竟我们宗旨是又快又好。

以下是各个模型的原理：

感兴趣的可以去看 https://stable-diffusion-art.com/how-stable-diffusion-work/

各个模型对比：

训练方式	输出大小（MB）	所需最小显存（GB）	训练用时（分钟）
Dreambooth	2000-4000	11	1h～
Hypernetwork	114	11	70
Textual Inversion	0.0013	11	60
LoRA	30-145	11	15

以上可以看出lora模型不管在体积上还是在用时上都性价比比较高。

训练方式	优点	缺点	适用场景
Dreambooth	1、质量高 2、风格专精 3、数据量庞大	1、难度大、成本高 2、不灵活 3、训练不稳定，调参复杂	适合学习多种物体/多种画风
Hypernetwork	1、风格专精 2、不易受干扰	1、兼容性低 2、风格过于单一	适合学习图片整体画风
Textual Inversion	1、功能性强 2、数据小	1、风格过于单一 2、性价比低	适合学习一个新的物体/概念，画风学习能力不如Hypernetwork
LoRA	1、灵活度高 2、训练成本低，能快速迭代模型 3、调参方便 4、兼容性强	1、容易受大模型风格干扰 2、多个混用互相污染	适合学习一种物体/一种画风

lora模型训练心得-图灵为例

训练流程（数据集以我们可爱的洋葱头为例）

01.

数据集准备

首先准备至少20张以上需要训练的角色的图片，保证画质清晰、各个角度。数据集尽量不要特别单一，可以丰富多彩一些。

当然如果你的图片画质不太清晰，推荐预处理之前把图片进行画质修复成高清图片，比较模糊的数据集拿去训练，生成的图片也会比较模糊，简而言之，数据集的画质影响生成图片的画质。

画质修复可以用stable diffusion里的extras标签页下面的画质修复放大去实现，可以选批量处理，然后选择画质修复放大算法，150张图片大约11min可以处理完，请耐心等待。

另外：

人脸图片和写实类图片推荐画质修复算法ESRGAN_4x

动漫类图片推荐画质修复算法R-ESRGAN 4x+ Anime6B

画质修复前后对比

修复前：

修复后：

02.

数据集预处理（这一步很重要）

首先我们需要对数据集进行预处理，防止有过大或者过小的图片。

创建镜像副本，就是水平翻转图片，如果你的数据集比较少，想要增加一下数据集可以选择这个
分割过大的图片，有一些图片过大，比如4000x4000，这样子的图片太大，训练的时候会做resize，这样子会导致训练效果不好，所以过大的图片推荐选择这个
自动焦点裁剪，这个选项是会识别图片中的人脸，然后基于人脸的位置为焦点进行裁剪，适用于有人脸的数据集哈，没有人脸的话或者人脸不太行的话就有可能被剪裁掉很关键的信息
使用BLIP生成语言描述词，这个是可以对图片生成一段描述词，适合现实写实类的图片数据集
使用deepbooru生成tag标签提示词，这个是生成单个单个的词语，适合动漫类/非写实类的图片数据集

下一步之后就预处理完了，就能看到每张图片和对应生成的tag标签txt文件了，这时候要注意了！

不管是BLIP和deepbooru两种提示词生成方式都只能生成比较常见的词，如果遇到比较特殊，或者我们想要有自己的标签tag，那就可以改提示词文件了，比如下面洋葱头的提示词，我们可以在每个提示词前面加上yangcongtou，这样子训练的时候它就能学到yangcongtou这个标签了，等我们去预测的时候，就可以输入yangcongtou来生成图片了。

当然也可以用其他的打tag的方式，比如webui中训练选项卡中的数据集预处理，或者使用webui的插件Tagger来批量打标签都是可以的。