網友評分: 5.5分
Disco Diffusion離線版AI繪畫程序是一款非常專業的AI自動繪畫程序,該版本提供Stable Diffusion動畫、Dream Booth訓練、音視頻識別轉字幕功能等,同時可根據輸入的描述關鍵詞渲染出對應的圖像,可以在Google Drive 中直接運行或者部署到本地運行,讓你輕松進行繪畫制作,免費下載。
1、描述詞設定:描述詞之前手動修改json文件經常有小伙伴少輸入標點導致出錯,界面化可以避免這個問題,如下默認的描述,每段(回車換行算一段)都是同一描述的不同權重關鍵詞。
上面的描述對應的手動修改json如下,也就是界面化無需引號、逗號來分割同一描述的不同權重部分。
隊列模式下的描述詞設定:當如下勾選了隊列模式后,通過固定的句式,可以生成大量的配置文件,也就可以實現生成多套參數的圖。
比如我的文字描述這樣描述:a beautiful girl by {400|1|藝術家},當點擊保存設置后就會生成400個藝術家的不同配置文件。注意這個格式{400|1|藝術家}中的{}、|這些不能缺少,完全按照固定格式來,400代表生成400個配置文件,1代表by一個藝術家名字(如果設置成2就代表by兩個藝術家名字混搭),藝術家代表的是軟件目錄下【描述風格庫】文件夾下的藝術家.csv文件,而藝術家.csv文件如下所示,兩列數據:
軟件支持各位自建這種語料庫,大家可以復制csv建立副本,然后在副本里修改,注意也是按照兩列格式來,第一列是描述,第二列是解釋。比如下面我建的顏色.csv文件,簡單寫了一下,也是一定嚴格兩列來哈,且都放在軟件目錄下的【描述風格庫】文件夾。
2、幫助相關:對于大多數參數,都加入了幫助按鈕,鼠標劃到對應幫助圖標,駐留即可顯示參數含義,如下所示,當然大多數都是翻譯的官方文檔,加入自己的一點注解。
如果想要加入自己對參數的注釋,可以修改軟件目錄下的tip.json,如下對應的描述修改即可,\n為換行。
3、參考圖:參考圖也人性化了,直接點擊按鈕選擇圖片即可,注意看參數旁邊的問號,一般加入參考圖時,skip_steps這個參數需要設置大一些。
參考圖的可玩性很高,比如下面的圖都是基于參考圖,用的自定義模型人像1.5,AI繼續繪制的,有的圖我也不用貼上參考圖了吧:
隊列模式下的參考圖:當如下勾選了隊列模式后,可以批量選擇多張參考圖,可以生成大量的配置文件,也就可以實現生成相同參數但參考圖不同的圖。
4、AI作畫模型選擇:參數設置里提供兩種繪圖Diffusion模型引擎選擇,原版DD、像素版DD以及其他自定義的PT格式模型
像素模式作畫引擎也可以試試
自定義模型比如選擇國畫風或者人像的PT模型文件,然后保存設置即可。
5、擴散模型訓練:上面的自定義模型,諸如人像和國畫都可以通過訓練來實現,如下點擊自己訓練Diffusion模型按鈕即可打開訓練設置界面,4.1版本支持在原來的模型基礎上繼續訓練,支持訓練多少步停下訓練,
6、提前終止作畫:當作畫步數超過5步時,點擊提前終止按鈕即可終止作畫
動圖封面
7、導入配置:支持導入圖片輸出目錄images_out文件下的DD作畫json配置文件或者生成的圖片,如下點擊導入配置按鈕即可:
默認寫入作圖參數到輸出圖片中,考慮到隱私問題,軟件支持去掉此功能
8、AI圖片描述解析:按鈕點擊,選擇圖片,稍等片刻即可顯示出描述,當然這個描述有所出入,但當作描述來用畫出的圖也確實不錯。
功能二:SD(Stable Diffusion)作畫
SD作畫功能和DD功能基本一致,同樣支持隊列模式、參考圖等功能,SD作畫速度更快,且畫的更加具象,下面主要介紹SD的參數設置。同樣SD也是具有文字描述和參考圖功能,還有一些其他參數,大家可以鼠標懸停到參數旁邊的問號就會有說明。
1、描述詞設定:描述詞句式基本和DD一樣,但SD作畫多了個負描述,負描述默認可以不寫,負描述如果寫,就代表不想讓繪畫結果出現的元素。
2、繪圖參數:圖片尺寸和DD一樣,需要64的倍數,當然隨便填寫尺寸也行,軟件會自動轉換;繪圖步數和DD類似,不過SD步數50就夠了,多了沒啥意義;繪制圖片輪數代表每次畫幾張圖;描述相關度默認數值就可以,當然可以嘗試10以上數值;隨機種子默認0,代表每次種子隨機,設置大于零的固定值,如果其他參數一樣,則SD出圖完全一樣,這點和DD不一樣哈。
3、顯存占用模式選擇:軟件提供不同顯存占用模式:適中、低、很低、非常低、高和極高幾種模式,其中非常低可以實現4G顯存畫出1024×1024極限尺寸,當然速度也比較慢,且至少需要16G內存;而高可以實現自適應顯存占用,速度比較均衡。
4、16代黑圖問題:針對GTX 16系列,諸如1660等顯卡,SD作畫會黑圖,需要勾選選項,可以正常出畫。
5、參考圖:和DD一樣,SD也支持參考圖,不過參數比較簡單,基本上就是導入原圖,修改描述,設置圖片差異度參數即可,注意差異度參數范圍0-1,1代表與參考圖差異最大哈。
試試SD參考圖,實現真人參考圖用二次元描述實現真人二次元效果
6、動畫:SD動畫選擇2D,即可開啟動畫模式,動畫也可以設置參考圖,支持動畫變化角度、縮放大小、xyz軸移位等。
文字描述需要如下格式,每一次換行都是一個過渡描述,每個過渡描述末尾三個冒號后面跟著的數字,代表動畫幀數。
SD動畫如果選擇參考視頻,則可以導入視頻,實現視頻風格轉換,參考視頻模式下,就和逐幀參考圖一個意思了,只是比較便捷。
7、自定義SD模型選擇:支持選擇第三方ckpt格式的SD模型,如下所示,選擇ckpt所在路徑即可實現利用第三方ckpt模型作畫。
8、圖片風格仿造:這個功能需要至少16G顯存,無需描述,導入圖片即可實現圖片仿造,目前僅是個實驗功能,效果不是太穩定
9、局部修改:點擊局部修改按鈕,可以實現涂鴉部分區域實現局部修改功能,此功能效果也比較有限,改臉什么的還可以
10、Dream Booth訓練:DB訓練是非常厲害的一個功能
DB訓練是非常厲害的一個功能,點擊打開進入DB訓練界面,DB實現的功能是學會你訓練圖片的風格或者相貌。我來舉個例子,我訓練圖和正則圖都選擇四張滑稽表情。
然后標識詞寫做huaxiaoji,項目名隨便寫我來舉個例子,我訓練圖和正則圖都選擇四張滑稽表情;訓練設備支持CPU(需要16G內存,挺慢)和顯卡(需要24G顯存),模型尺寸256和512選擇,我選擇256就不錯,后面參數是ckpt模型保存及訓練停止步數,一般400-800步效果不錯。
訓練完后,在模型輸出目錄找到ckpt文件,然后SD模型自定義選擇這個ckpt文件,正常描述即可,注意描述里帶著huaxiaoji標識詞,如下都是滑稽模型出的圖:
當然參考圖也支持哈,人像二次元滑稽化
功能三:圖片AI高清放大
設置不同的放大模型和圖片放大倍數,高清放大圖片輸出目錄為軟件目錄\images_out\AI_ultra_HD,當輸入的圖片尺寸很大時,容易超顯存,這時我們修改拼圖大小這個參數即可,比如設置拼圖大小512時,6G顯存選擇realesrgan_x4plus模型對1920*1080圖片進行4倍放大測試不超顯存。
AI高清放大是一個免費的獨立功能,如下軟件主界面點擊高清放大按鈕,選擇圖片(支持批量),即可高清放大圖片。
小圖經過高清放大的對比效果,二次元和三次元都能勝任。
功能四:老照片修復
軟件主界面點擊老照片修復按鈕,選擇圖片(支持批量),即可高清修復老照片,僅對人像進行高清修復。
功能五:AI圖片轉3D
AI圖片轉3D輸出視頻目錄:軟件目錄\video;AI圖片轉3D也是一個獨立免費功能,如下參數設置可以設置生成視頻時長和攝像頭位置(位置一般不改):
然后,主界面點擊圖片轉3D,選擇圖片(支持批量),轉換圖片成如下的視頻形式,這個轉換速度較慢,5到30分鐘一張圖。
基本上就是原作項目介紹的這種效果,一張精圖轉換成3D的效果,不過相比原作我做了改進,支持原圖尺寸大小的視頻。
功能六:圖片風格仿造
點擊圖片風格仿造按鈕,選擇圖片即可自動出幾張風格相近的圖,此功能需要至少10GB顯存,參數設置可以設置每次仿造圖片數。
功能七:二次元生成
點擊二次元小姐姐生成按鈕,即可繪制上百張二次元圖片
可在參數設置里,設置各種參數以生成不同類型的二次元小姐姐
功能八:三次元生成
和二次元生成功能一樣,如下點擊三次元生成按鈕,即可繪制多張三次元全身圖
可在參數設置里,設置各種參數以生成不同類型的三次元圖片
1、Stable Diffusion(下面簡稱SD)作畫功能支持2D動畫功能(支持參考圖模式,選擇參考圖,即可以參考圖引導動畫幀生成;支持三軸移動、縮放、角度調整等)、參考視頻功能,動畫模式2D輸入描述支持幀數設置,如下換行描述(三個冒號后面跟著幀序號):
a:::10
b:::20
c:::30
代表,a描述有10幀,b描述20幀。。。。
2、加入Dream Booth模型訓練功能,CPU和顯卡兩種方式都可以,顯卡目前24G顯存可以,CPU訓練內存32G以上估計就可以;鼠標懸停訓練參數旁邊的問號有參數解釋;訓練完成后會自動在模型目錄對11GB大小的模型進行裁剪到2GB大小;支持DB斷點模型選擇;模型名字顯示步數;
3、SD作畫增加局部修改功能,點擊局部修改按鈕,對圖片繼續涂鴉,即可局部修改,不過此功能效果有些圖片有限;
4、SD文字描述支持負描述,所謂負描述就是不想讓畫面出現的元素;
5、SD支持調用第三方的ckpt格式的SD模型,SD參數設置下方選擇自定義模型按鈕即可;
6、SD支持圖片仿造功能,不過需要至少16G顯存,SD參數設置最下方,選擇待仿造圖片,無需描述,即可生成類似風格圖片;
7、SD作畫16代顯卡黑圖問題修復,SD設置里勾選16代即可;
8、伴奏人聲分離4G顯卡可以用了,伴奏人聲分離設置勾選低顯存占用模式即可;
9、加入音視頻轉文字功能,批量選擇音視頻,即可生成srt字幕文件和純文字txt版文件,支持大量國外語言; 10、修復圖片轉3D找不到圖片的報錯問題;
11、修復圖片高清放大、老照片修復,DD或SD作畫寫到圖片的配置丟失問題。
標簽: AI作畫 Disco Diffusion