标题:
[原创]
[图文]论飞机杯和脑交lora在真人绘画中的应用(重口慎入)[16P]
[打印本页]
作者:
iamhixitele
时间:
2023-4-21 23:10
标题:
[图文]论飞机杯和脑交lora在真人绘画中的应用(重口慎入)[16P]
字数:770 字
随着ai绘画的兴起和进化,使用lora模型绘制定制类别的图形愈发简单,但在绘画的创新性上仍有不足,本帖主要从研究的角度探讨一个或多个2d动漫lora如何强行使用在3d人物创作上,以最极端猎奇向的飞机杯和脑交lora为例。
目前能找到的猎奇向lora一般来自于国外动漫绘画网站,如p站。这类lora往往是使用2d动漫图片累积学习生成的,因此当他们适用于2d动漫创作时,效果最好,甚至可以多个lora模型混合使用,各司其职。如下图
[
本帖最后由 内力煮火锅 于 2023-4-22 13:41(GMT+8) 编辑
]
作者:
iamhixitele
时间:
2023-4-21 23:14
这些都是我混合了3个lora模型创作的2d猎奇漫画,可以看到,画面清晰,人物面部表情和津液匹配,特别是翻白眼的效果在只迭代了20次左右就基本完美
但当把这类lora模型作用到2.5d仿照片真人猎奇图片上时效果就大打折扣了,如下图。
[
本帖最后由 iamhixitele 于 2023-4-21 23:18(GMT+8) 编辑
]
作者:
iamhixitele
时间:
2023-4-21 23:24
可以看到,lora模型出现了冲突,裸露的大脑经常被画成白色绒毛帽,面部津液也凭空出现,ai不能理解断肢部位,干脆把整个头放在白色盘子上,又或者出现了人头型笔筒一类让人哭笑不得的构图。
由于这类lora模型的训练很少使用真人图片,如何强行使用漫画图片训练的lora模型完美生成真人图片就是一个很有意思的研究点。
首先,我认为要让ai最终产成图必须限定为真人图片,需要tag和大模型的配合,tag可以选择对Realistic,photograph等加强权重,大模型尽量选择真人图炼制,如basil mix,chillmix等,同时配合低权重的真人lora,保证出图风格。
[
本帖最后由 iamhixitele 于 2023-4-21 23:33(GMT+8) 编辑
]
作者:
iamhixitele
时间:
2023-4-21 23:38
其次,尽量提高重点lora权重,当有多个lora配合使用时彼此冲突的常态,可以在1.1-1.8的权重内逐级调整,配合高关键词控制(10以上),保证出图主题是自己想要的。
作者:
iamhixitele
时间:
2023-4-21 23:42
最后,可以关闭高清迭代,多使用小步数迭代,短时间内找到稳定的输出点,100次文生图里总有想要的风格和画面,有了大致图片后再用图生图固定优化,提高效率,更多创新。
作者:
小马大车
时间:
2023-4-22 00:15
脑交有点重口了,人体飞机杯还是很刺激的,不过老哥你的画有点粗糙的感觉啊,不太细腻
作者:
iamhixitele
时间:
2023-4-22 00:20
我本地显卡不是很好,生成大分辨率文生图比较慢,使用多个lora模型时本身也容易失败,这些都是初级产品,迭代步数30以内,主要探讨一下理论。
其实正常的lora模型,出图质量还是很高的
[
本帖最后由 iamhixitele 于 2023-4-22 07:12(GMT+8) 编辑
]
作者:
doggybread
时间:
2023-4-22 03:12
楼主专业!点赞学习了
对于小步高频次迭代,获得满意初图之后再配合图生图得到高清图的方法,对提高效率的确很有帮助。受教了
除了发的图有点恐怖,一切都很好~哈~
作者:
iamhixitele
时间:
2023-4-22 07:14
[attach]3957836[/attach]题外话,这里有人研究m2m吗?色图哪有视频好撸?
[
本帖最后由 iamhixitele 于 2023-4-22 07:58(GMT+8) 编辑
]
欢迎光临 SiS001! Board - [第一会所 关闭注册] (http://154.84.5.196/bbs1/)
Powered by Discuz! 7.2