type
date
status
slug
summary
tags
category
password
icon
继训练lora记录后的roll图记录,训练记录在此:
一、筛选模型
simple文件夹
以Alice模型训练为例,在训练完成后,由于每个epoch都保存了一份模型,我们最终会获得10个模型文件。那么,我们如何评判这些模型的质量,区分哪个模型较好,哪个模型较差呢?
首先,在训练脚本的目录下,会有一个simple目录。如果在设置时打开了simple输出,那么通常会存在这个目录。在这个目录下,我们可以看到每个模型的生成简图,粗略地判断哪个模型学习效果较好,哪个模型几乎没有学习到内容。不过,在这一步,我们只能大概地判断模型质量,关于欠拟合和过拟合的细节,还需要进一步筛选。
XYZ图表
接下来,我们需要启动绘图工具。以V预测模型和SD WebUI Forge为例,最简单的方法是使用秋叶的启动器。以下是Gitee下载地址:
参考视频:
正常启动后,在主界面最下方的脚本选单中选择
X/Y/Z图表
。X轴类型
选择Prompt S/R
X轴值
输入要替换的编号。例如,如果提示词中存在lora:alice-000005:0.6
,且想测试alice-000005
到alice-000010
的模型,则X轴值可以这样写:000005,000006,000007,000008,000009,000010
。图表生成后,将显示对应的不同模型图表。
您还可以添加另一个轴来指定不同的提示词,以查看模型间的差异。
需要注意的是,高分辨率修复可能会使原始模型的出图有较大变化。如果仅想判断模型质量,可以关闭高分辨率修复;如果想看高质量出图的区别,则可以开启高分修复。
二、生成图片
生成原始图片
经过模型筛选后,我们选择了相对理想的模型来生成图片。在此过程中,可能会遇到以下问题:
- 头发模糊不清,与背景融为一体
- 头发导致图片撕裂
- 手指诡异生长
- 眼睛驳杂模糊
- 其他问题
遇到这些问题,首先想到的是调整提示词。但如果尝试各种质量提示词效果都不佳,就需要考虑设置问题。
对于常见问题的解决方法:
- 头发模糊或撕裂:更改采样器,选择
euler a
,在头发处理上比euler
要好。大部分情况下重绘也能解决头发模糊撕裂问题,不过要注意放大比例,很多情况下放大比例调到2倍的时候也会出现各种画面问题,具体的放大比例还请自行斟酌,个人比较喜欢1.3~1.5左右
- 手指诡异生长:使用局部重绘或高分修复,将高分修复的
重绘幅度
调整到0.3~0.5区间,可以较大概率修复手指问题。
- 眼睛驳杂:同样可以通过高分修复来解决。
高分辨率修复
高分辨率修复中的几个关键选项:
- 放大算法:对于二次元图片,
R-ESRGAN 4x+ Anime6B
效果最佳。
- 高分迭代步数:默认为0,即与生成步数一致。目前感觉影响不大。
- 重绘幅度:非常重要。过低无效,过高会导致重影和撕裂。测试表明,0.25~0.6区间效果不错,具体还需根据模型调整。
- 放大倍数:倍数越小(如1.x),既能享受高分修复的重绘优势,又不会因过度放大导致多肢或局部重复。
通过这些措施,图片质量通常能得到显著提升。其他选项仍在研究中,后续会补充更多信息。
adetailer
细节修复,能自动识别face、hand等部件,然后进行局部修复,需要注意的是,使用之前要去下载一下adetailer的模型,放进model/adetailer目录下,不然他也不会报错说没有模型,重绘幅度同样推荐0.5
- 作者:Alice
- 链接:blog.aierlanta.net/article/roll-picture
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。