大神微调Stable Diffusion,打造奇特宝物新世界

liukang20242个月前吃瓜始末1228
来历:AI科技谈论
修改:桃子

【新智元导读】不再依靠提示库,输入恣意文本都可生成。

作为一个强壮、揭露且满足简略的模型,最近大火的 Stable Diffusion 在文本生成图画之外,给了咱们无限的创造可能性。

简洁的大神微调Stable Diffusion,打造神奇宝贝新世界的插图

最近,来自 Lambda Labs 的机器学习研究员 Justin Pinkney 对该模型进行了微调,构建了一个奇特宝物生成器!

来看一些风趣的比方~

下图是输入姓名后生成的一些奇特宝物:戴珍珠耳环的少女、奥巴马、特朗普、鲍里斯·约翰逊、龙猫、Hello Kitty。

Lady Gaga、鲍里斯·约翰逊、普京、默克尔、特朗普、柏拉图:

耶稣基督:

除了现有的人物和公共人物,你还能够输入一个描绘来生成自己幻想的奇特宝物:骷髅祭司

真实的大神微调Stable Diffusion,打造神奇宝贝新世界的插图

你也能够输入自己的姓名或网名,生成归于自己的奇特宝物形象。这可太酷了,推特上的网友纷繁用自己的姓名打开创造,看看自己假如变成奇特宝物会是什么姿态。

图注:网友 Jo Barf Creepy 的奇特宝物形象

图注:网友 Elizabeth Holmes 的奇特宝物形象

图注:网友 Upbeatblue 的奇特宝物形象

图注:网友 Onion-sama 的奇特宝物形象

输入一些漫画人物的姓名也能够取得相匹配的奇特宝物:

细腻的大神微调Stable Diffusion,打造神奇宝贝新世界的照片

而那些陪同人们幼年的奇特宝物在这个生成器中也有了新的样貌:皮卡丘、妙蛙种子、喷火龙、树才怪、路卡利欧、梦境。

奇特宝物生成器是怎么“生成”的

Pinkney 在推特上展现了这个奇特宝物生成器的练习进程。
传送门:https://github.com/LambdaLabsML/examples/tree/main/stable-diffusion-finetuning
他表明,Stable Diffusion 是一个很好的通用模型,但要取得特定风格的输出不是件简略的事,这一般需求做很多单调的作业,制造杂乱的文本提示库,或许你也能够偷闲只对图画生成模型进行微调。
Pinkney 在奇特宝物图画的数据集上对初始的 Stable Diffusion 进行了微调。
首先是构建一个数据集。数据集包括奇特宝物图画和对应的文本描绘,比方妙蛙种子被描绘成“一个红眼睛的绿色奇特宝物图画”,绿毛虫则被描绘为“一个长着红鼻子的绿黄两色玩具”。
图注:奇特宝物数据集
当然,这些描绘不是人工完结的,而是运用了神经网络来代庖,即图画描绘模型 BLIP。尽管这些描绘还不是非常完美,但也满足用了。
然后,他在 A6000 上只花费了几个小时对 AI 模型进行练习,让模型学习以奇特宝物的风格来生成图画,但将从前的常识保存一段时间,终究对数据集产生过拟合。
开端时,样本是正常图画的姿态,然后逐步取得奇特宝物的风格,跟着练习的持续,终究出现一个与原始提示不同的奇特宝物图画:
这是一种很简略的微调,但它运行得非常好。有了这样一个微调后的模型,不管你给它什么提示,它都会生成奇特宝物。所以不用再煞费苦心地想提示语了。
在创立奇特宝物时,你能够挑选输出多个:
图注:带翅膀的机械猫
Pinkney 表明,欢迎咱们用更杂乱的方法把这个模型专门地用在新领域。像这样的小工具便是 Stable Diffusion 这类 AI 模型开源优点的表现。

One more thing

这个模型在网上引起创造热潮后,Pinkney 又发布了一篇博客弥补了一些额定的作业细节。
他发现,令人惊奇的是,这个模型居然设法记住了初始 Stable Diffusion 的一些通用常识,而它只是在一个有限的数据集上练习了几千步。可是,对奇特宝物进行微调时,模型实际上很快就会开端过度拟合,假如只是以一种简略的方法从中采样,模型就会为新的提示生成胡说八道式的奇特宝物,也便是说,它现已灾祸性地遗忘了它所练习的原始数据)。可是 Stable Diffusion 在练习期间坚持模型的指数移动均匀 (EMA) 版别,一般用于推理。
因而,假如运用 EMA 权重,咱们实际上是在运用原始模型和微调模型的均匀值。事实证明,这关于生成奇特宝物而言是必不可少的。此外,你还能够经过直接将新模型与初始模型的权重进行均匀来微调作用,以操控生成奇特宝物的数量。微谐和对模型进行均匀的操作能够将原始内容与微调后的风格有用混合。
图注:左面是彻底微调的模型,右边是只微调注意力层的模型。
别的,你也能够冻住模型的不同部分来进行微调,比方上图是两种微调方法的生成作用,能够看到,只微调了注意力层的模型能够生成更正常的 Yoda,但并不太拿手制造奇特宝物。

参考资料:

https://www.justinpinkney.com/pokemon-generator/

本文经授权转载自微信大众号「AI科技谈论」(ID:aitechtalk)
告发/反应

相关文章

冲上热搜!雷军最新回应

今日(12月8日),#雷军回应小米被指贴牌#相关论题冲上微博热搜。12月7日,雷军发视频回应小米被误解没有工厂、没有技能,被指贴牌。雷军称,小米刚开端的形式是轻形式+代工形式的组合,这让我们对小米产生...

出台一揽子金融方针,开释更为活跃的信号|新京报快评

一揽子方针不只有利于稳商场稳预期,也将对稳添加、促民生发生活泼的影响。▲5月7日,国务院新闻办公室在北京举办新闻发布会。图/新华社文 | 李长安5月7日,在国务院新闻办公室举办的新闻发布会上,中国人民...

严重项目作为推动经济增加的重要动力和完结城市高质量打开的要害支撑,这一含义在本周具象化了。

本周,成都上半年固定财物出资效果单出炉。在高位和谐、密布调度、全生命周期服务等方法的保证下,上半年成都的固定财物出资跑出同比增加6.1%的效果,项目出资发挥出“压舱石”效果,保证上半年全市经济局势的全体安稳。

从数据动身,看到的是成都在厚实筑牢“稳”的根底的一起,新动能、新工业正在加速生长,构成新的打开支撑——国星宇航“星际太空港”全国总部、沃飞漫空全球总部及出产制作基地等高能级项目密布落地,国家实验室项目12个月全面建成,西部榜首楼房—中海超高层项目施工高度打破100米等项目跑出一日千里的“加速度”……项目出资建造热潮涌动,为城市打开谋未来、蓄动能。三季度是经济作业的“攻坚期”、项目出资的“黄金季”。本周,成都市2024年第三季度“三个做优做强”严重项目现场推动活动举行,归入项目共208个,总出资1227亿元。聚集到区(市)县、市级部分和市属国企,环绕项目打开的对接洽谈、出资吸引、开工促建、攻坚破难也是本周的主旋律。访问小米集团加速轿车工业转型脚步,推动省制作业“智改数转”赋能渠道建造打开,推动“熊猫家乡”中心区项目加速构成更多什物量,研讨金沙遗址博物馆归纳提档晋级项目、三国文明研讨展现中心改造提高项目……从工业结构晋级、动能转化,到民生改善、公共服务质效提高,项目牵引着经济的动能、城市的未来和市民的美好。下半年路程起步,成都拼经济的脚步也越来越忙。本周,《成都一周》继续对成都市级部分、区(市)县党政“一把手”和市属国有企业首要领导的活动进行收拾,看看成都怎么故项目之“进”支撑打开之“稳”。

成都一周|以项目之“进”支撑开展之“稳”!成都区(市)县、部分、国企这周在忙啥?

严重项目作为推动经济增加的重要动力和完结城市高质量打开的要害支撑,这一含义在本周具象化了。本周,成都上半年固定财物出资效果单出炉。在高位和谐、密布调度、全生命周期服务等方法的保证下,上半年成都的固定财...

美民调称“视我国为敌”的美国人在削减,专家解读

【环球时报报导 记者 李萌】美国皮尤民调中心17日发布的一项最新民调显现,对我国持负面观感的美国人份额正在下降。彭博社称,视我国为“敌人”的美国人削减,与美总统特朗普发起交易战的心情“各走各路”。 民...

AI芯片教父黄仁勋养成记

最近几天,英伟达到为全国际企业和科技界重视的焦点。上星期,英伟达发布的最新四季度报,引发了商场的追捧狂潮,仅单日市值就增加了2770亿美金(合人民币2万亿元左右),发明了华尔街最大单日涨幅的里程碑。相...

吃瓜网友科普:揭秘'submit'什么意思及其应用

吃瓜网友科普:揭秘'submit'什么意思及其应用在互联网时代,网络用语层出不穷,常常让人感到困惑。今天,我们就由吃瓜网友来为大家普及一下‘submit’的意思及其在不同场景中的应用。‘submit’...

友情链接: