应用简介
Stable Diffusion是一款功能强大的AI绘画软件,并且在Github上开源,小编为大家找来了软件的GUI版本,省去了本地部署步骤,解压即可直接运行生成各种图像。软件使用简单便捷,用户能够自己电脑的配置自由的调整各种参数,让电脑自己作画。
【软件原理】
首先,从名字Stable Diffusion就可以看出,这个主要采用的扩散模型(Diffusion Model)。
简单来说,扩散模型就是去噪自编码器的连续应用,逐步生成图像的过程。
一般所言的扩散,是反复在图像中添加小的、随机的噪声。而扩散模型则与这个过程相反——将噪声生成高清图像。训练的神经网络通常为U-net。
不过因为模型是直接在像素空间运行,导致扩散模型的训练、计算成本十分昂贵。
基于这样的背景下,Stable Diffusion主要分两步进行。
首先,使用编码器将图像x压缩为较低维的潜在空间表示z(x)。
其中上下文(Context)y,即输入的文本提示,用来指导x的去噪。
它与时间步长t一起,以简单连接和交叉两种方式,注入到潜在空间表示中去。
随后在z(x)基础上进行扩散与去噪。换言之, 就是模型并不直接在图像上进行计算,从而减少了训练时间、效果更好。
值得一提的是,Stable DIffusion的上下文机制非常灵活,y不光可以是图像标签,就是蒙版图像、场景分割、空间布局,也能够相应完成。