应用简介
Disco Diffusion离线版AI绘画程序是一款非常专业的AI自动绘画程序,该版本提供Stable Diffusion动画、Dream Booth训练、音视频识别转字幕功能等,同时可根据输入的描述关键词渲染出对应的图像,可以在Google Drive 中直接运行或者部署到本地运行,让你轻松进行绘画制作,免费下载。
【功能特点】
1、描述词设定:描述词之前手动修改json文件经常有小伙伴少输入标点导致出错,界面化可以避免这个问题,如下默认的描述,每段(回车换行算一段)都是同一描述的不同权重关键词。
上面的描述对应的手动修改json如下,也就是界面化无需引号、逗号来分割同一描述的不同权重部分。
队列模式下的描述词设定:当如下勾选了队列模式后,通过固定的句式,可以生成大量的配置文件,也就可以实现生成多套参数的图。
比如我的文字描述这样描述:a beautiful girl by {400|1|艺术家},当点击保存设置后就会生成400个艺术家的不同配置文件。注意这个格式{400|1|艺术家}中的{}、|这些不能缺少,完全按照固定格式来,400代表生成400个配置文件,1代表by一个艺术家名字(如果设置成2就代表by两个艺术家名字混搭),艺术家代表的是软件目录下【描述风格库】文件夹下的艺术家.csv文件,而艺术家.csv文件如下所示,两列数据:
软件支持各位自建这种语料库,大家可以复制csv建立副本,然后在副本里修改,注意也是按照两列格式来,第一列是描述,第二列是解释。比如下面我建的颜色.csv文件,简单写了一下,也是一定严格两列来哈,且都放在软件目录下的【描述风格库】文件夹。
2、帮助相关:对于大多数参数,都加入了帮助按钮,鼠标划到对应帮助图标,驻留即可显示参数含义,如下所示,当然大多数都是翻译的官方文档,加入自己的一点注解。
如果想要加入自己对参数的注释,可以修改软件目录下的tip.json,如下对应的描述修改即可,\n为换行。
3、参考图:参考图也人性化了,直接点击按钮选择图片即可,注意看参数旁边的问号,一般加入参考图时,skip_steps这个参数需要设置大一些。
参考图的可玩性很高,比如下面的图都是基于参考图,用的自定义模型人像1.5,AI继续绘制的,有的图我也不用贴上参考图了吧:
队列模式下的参考图:当如下勾选了队列模式后,可以批量选择多张参考图,可以生成大量的配置文件,也就可以实现生成相同参数但参考图不同的图。
4、AI作画模型选择:参数设置里提供两种绘图Diffusion模型引擎选择,原版DD、像素版DD以及其他自定义的PT格式模型
像素模式作画引擎也可以试试
自定义模型比如选择国画风或者人像的PT模型文件,然后保存设置即可。
5、扩散模型训练:上面的自定义模型,诸如人像和国画都可以通过训练来实现,如下点击自己训练Diffusion模型按钮即可打开训练设置界面,4.1版本支持在原来的模型基础上继续训练,支持训练多少步停下训练,
6、提前终止作画:当作画步数超过5步时,点击提前终止按钮即可终止作画
动图封面
7、导入配置:支持导入图片输出目录images_out文件下的DD作画json配置文件或者生成的图片,如下点击导入配置按钮即可:
默认写入作图参数到输出图片中,考虑到隐私问题,软件支持去掉此功能
8、AI图片描述解析:按钮点击,选择图片,稍等片刻即可显示出描述,当然这个描述有所出入,但当作描述来用画出的图也确实不错。
功能二:SD(Stable Diffusion)作画
SD作画功能和DD功能基本一致,同样支持队列模式、参考图等功能,SD作画速度更快,且画的更加具象,下面主要介绍SD的参数设置。同样SD也是具有文字描述和参考图功能,还有一些其他参数,大家可以鼠标悬停到参数旁边的问号就会有说明。
1、描述词设定:描述词句式基本和DD一样,但SD作画多了个负描述,负描述默认可以不写,负描述如果写,就代表不想让绘画结果出现的元素。
2、绘图参数:图片尺寸和DD一样,需要64的倍数,当然随便填写尺寸也行,软件会自动转换;绘图步数和DD类似,不过SD步数50就够了,多了没啥意义;绘制图片轮数代表每次画几张图;描述相关度默认数值就可以,当然可以尝试10以上数值;随机种子默认0,代表每次种子随机,设置大于零的固定值,如果其他参数一样,则SD出图完全一样,这点和DD不一样哈。
3、显存占用模式选择:软件提供不同显存占用模式:适中、低、很低、非常低、高和极高几种模式,其中非常低可以实现4G显存画出1024×1024极限尺寸,当然速度也比较慢,且至少需要16G内存;而高可以实现自适应显存占用,速度比较均衡。
4、16代黑图问题:针对GTX 16系列,诸如1660等显卡,SD作画会黑图,需要勾选选项,可以正常出画。
5、参考图:和DD一样,SD也支持参考图,不过参数比较简单,基本上就是导入原图,修改描述,设置图片差异度参数即可,注意差异度参数范围0-1,1代表与参考图差异最大哈。
试试SD参考图,实现真人参考图用二次元描述实现真人二次元效果
6、动画:SD动画选择2D,即可开启动画模式,动画也可以设置参考图,支持动画变化角度、缩放大小、xyz轴移位等。
文字描述需要如下格式,每一次换行都是一个过渡描述,每个过渡描述末尾三个冒号后面跟着的数字,代表动画帧数。
SD动画如果选择参考视频,则可以导入视频,实现视频风格转换,参考视频模式下,就和逐帧参考图一个意思了,只是比较便捷。
7、自定义SD模型选择:支持选择第三方ckpt格式的SD模型,如下所示,选择ckpt所在路径即可实现利用第三方ckpt模型作画。
8、图片风格仿造:这个功能需要至少16G显存,无需描述,导入图片即可实现图片仿造,目前仅是个实验功能,效果不是太稳定
9、局部修改:点击局部修改按钮,可以实现涂鸦部分区域实现局部修改功能,此功能效果也比较有限,改脸什么的还可以
10、Dream Booth训练:DB训练是非常厉害的一个功能
DB训练是非常厉害的一个功能,点击打开进入DB训练界面,DB实现的功能是学会你训练图片的风格或者相貌。我来举个例子,我训练图和正则图都选择四张滑稽表情。
然后标识词写做huaxiaoji,项目名随便写我来举个例子,我训练图和正则图都选择四张滑稽表情;训练设备支持CPU(需要16G内存,挺慢)和显卡(需要24G显存),模型尺寸256和512选择,我选择256就不错,后面参数是ckpt模型保存及训练停止步数,一般400-800步效果不错。
训练完后,在模型输出目录找到ckpt文件,然后SD模型自定义选择这个ckpt文件,正常描述即可,注意描述里带着huaxiaoji标识词,如下都是滑稽模型出的图:
当然参考图也支持哈,人像二次元滑稽化
功能三:图片AI高清放大
设置不同的放大模型和图片放大倍数,高清放大图片输出目录为软件目录\images_out\AI_ultra_HD,当输入的图片尺寸很大时,容易超显存,这时我们修改拼图大小这个参数即可,比如设置拼图大小512时,6G显存选择realesrgan_x4plus模型对1920*1080图片进行4倍放大测试不超显存。
AI高清放大是一个免费的独立功能,如下软件主界面点击高清放大按钮,选择图片(支持批量),即可高清放大图片。
小图经过高清放大的对比效果,二次元和三次元都能胜任。
功能四:老照片修复
软件主界面点击老照片修复按钮,选择图片(支持批量),即可高清修复老照片,仅对人像进行高清修复。
功能五:AI图片转3D
AI图片转3D输出视频目录:软件目录\video;AI图片转3D也是一个独立免费功能,如下参数设置可以设置生成视频时长和摄像头位置(位置一般不改):
然后,主界面点击图片转3D,选择图片(支持批量),转换图片成如下的视频形式,这个转换速度较慢,5到30分钟一张图。
基本上就是原作项目介绍的这种效果,一张精图转换成3D的效果,不过相比原作我做了改进,支持原图尺寸大小的视频。
功能六:图片风格仿造
点击图片风格仿造按钮,选择图片即可自动出几张风格相近的图,此功能需要至少10GB显存,参数设置可以设置每次仿造图片数。
功能七:二次元生成
点击二次元小姐姐生成按钮,即可绘制上百张二次元图片
可在参数设置里,设置各种参数以生成不同类型的二次元小姐姐
功能八:三次元生成
和二次元生成功能一样,如下点击三次元生成按钮,即可绘制多张三次元全身图
可在参数设置里,设置各种参数以生成不同类型的三次元图片
【更新内容】
1、Stable Diffusion(下面简称SD)作画功能支持2D动画功能(支持参考图模式,选择参考图,即可以参考图引导动画帧生成;支持三轴移动、缩放、角度调整等)、参考视频功能,动画模式2D输入描述支持帧数设置,如下换行描述(三个冒号后面跟着帧序号):
a:::10
b:::20
c:::30
代表,a描述有10帧,b描述20帧。。。。
2、加入Dream Booth模型训练功能,CPU和显卡两种方式都可以,显卡目前24G显存可以,CPU训练内存32G以上估计就可以;鼠标悬停训练参数旁边的问号有参数解释;训练完成后会自动在模型目录对11GB大小的模型进行裁剪到2GB大小;支持DB断点模型选择;模型名字显示步数;
3、SD作画增加局部修改功能,点击局部修改按钮,对图片继续涂鸦,即可局部修改,不过此功能效果有些图片有限;
4、SD文字描述支持负描述,所谓负描述就是不想让画面出现的元素;
5、SD支持调用第三方的ckpt格式的SD模型,SD参数设置下方选择自定义模型按钮即可;
6、SD支持图片仿造功能,不过需要至少16G显存,SD参数设置最下方,选择待仿造图片,无需描述,即可生成类似风格图片;
7、SD作画16代显卡黑图问题修复,SD设置里勾选16代即可;
8、伴奏人声分离4G显卡可以用了,伴奏人声分离设置勾选低显存占用模式即可;
9、加入音视频转文字功能,批量选择音视频,即可生成srt字幕文件和纯文字txt版文件,支持大量国外语言; 10、修复图片转3D找不到图片的报错问题;
11、修复图片高清放大、老照片修复,DD或SD作画写到图片的配置丢失问题。