這次將以 Stable Diffusion 為主 (簡介 / 安裝 / 模型下載 / 介面操作 / 插件介紹 / 模型訓練)。 同時也會帶一些 Midjourney 及 niji・journey 的操作 owo 可以先安裝好 Git 以及 Python 3.10.6，下方為下載網址~ 1. Git (CLI or GitHub Desktop) CLI: https://github.com/git-for-windows/git/releases/download/v2.39.2.windows.1/Git-2.39.2-64-bit.exe GitHub Desktop: https://central.github.com/deployments/desktop/desktop/latest/win32 2. Python 3.10.6 https://www.python.org/ftp/python/3.10.6/python-3.10.6-amd64.exe

1. edisonlee55
AI 魔法師
繪圖詠唱初階班
Slide Link
dum.tw/QCTN54
SukiyakiMix-v1.0-fp16 + anime-seg
Present by
edisonlee55

2. edisonlee55
edisonlee55
李明謙 Edison Lee
交大百川資工 跨域創新創業
致力於 CG/ML/DL/CV 等領域研究。
→ Technical Artist
- Team Leadership
- Indie Game Developer
- Full Stack Engineer
- Game/Music Publishing
- Intellectual Property
可愛的男 (or 女) 孩子，喜歡女裝 (///▽///)
講師貓貓
Twitter | @edisonlee55
GitHub | @edisonlee55

3. edisonlee55
課程 Discord 發問
直接 DM 我就可以囉 UwU

4. edisonlee55
本次大綱
一、AI 繪圖簡介 / Stable Diffusion 模型簡介及下載
二、Stable Diffusion 安裝 (SD WebUI)
三、SD WebUI 介面操作
四、模型融合及 LoRA 訓練
五、各式 Stable Diffusion 插件 / 腳本介紹及補充
(第三節以後都是直接 Demo 教學，能講多少算多少)

5. edisonlee55
AI 繪圖簡介
edisonlee55 Model: Pastel-Mix [Pruned FP16]

6. edisonlee55
非開源 / 網站
開源 (Open RAIL-M)
非開源 / DC Bot
Midjourney
niji・journey
Stable
Diffusion
DC 封測: 2022/3/14
公測: 2022/7/12
Niji: 2022/12
主流 AI 繪圖摘要
※ 僅為摘要，未包含 DALL-E、Imagen、Disco Diffusion
等其他 AI 繪圖服務或軟體。
首次發布: 2022/8/22 AI 畫圖: 2022/10/3
NovelAI
(底層採用 SD)

7. edisonlee55
Stable Diffusion
模型簡介及下載
edisonlee55 傍観者X (@boukansyax)

8. edisonlee55
Stable Diffusion 粗略模型架構
Stable Diffusion
Checkpoint (大模型)
Output
LoRA / HyperNetworks /
Textual Inversion (小模型)
VAE
Scheduler Algorithm
(Eg, DPM/DDIM)
Text
Image
Encoder
cat ears
white hair…

9. edisonlee55
模型種類區分
① Stable Diffusion Checkpoint (大模型)
- SD 主模型，檔案大小通常都好幾 GB。
② VAE (Variational AutoEncoder)
- 可能會嵌入在大模型中，也可以額外掛載。
⑨ LoRA / HyperNetworks / Textual Inversion (小模型)
- 可微調 (Fine-tune) 主模型的結果，模型檔較小。
- 訓練時間、實用度： LoRA > HyperNetworks > Textual Inversion

10. edisonlee55
模型副檔名
① SafeTensor (.safetensors)
- 主要設計來解決 PickleTensor 的安全性問題。
- 若可以，請盡量下載這類型的模型檔。
② PickleTensor (.ckpt / .pt)
- 較危險的模型檔，因為 Python Pickle 有機會執行任意代碼。
- 很多小模型都還是這類型的模型檔。

11. edisonlee55
修剪版模型 / 模型精度
① 修剪版模型 (Pruned)
- 刪除非必要權重後的模型，節省空間。
② 模型精度 (FP32 vs FP16)
- FP32 模型使用的 VRAM 較多且檔案較大。
- 自己有時候用 FP16 會產不了圖，產不了就換 FP32 試試看。
兩者通常來說，對生成品質不會有顯著的影響
→ 多測試哪種模型的效果自己比較喜歡 OwO

12. edisonlee55
模型精度比較 | Anything v4.0
FP16 + VAE FP32 + VAE
https://github.com/azher-alnabi/stable-diffusion-float-point-analysis

13. edisonlee55
AI 模型社群
https://huggingface.co https://civitai.com

14. edisonlee55
模型下載 | Civitai

15. edisonlee55
模型下載 | Hugging Face

16. edisonlee55
模型下載 | Hugging Face

17. edisonlee55
Stable Diffusion 安裝
(SD WebUI)
edisonlee55 Model: Counterfeit-V2.5

18. edisonlee55
SD WebUI 安裝 | 環境配置
1. Git (CLI or GitHub Desktop)
2. Python 3.10.6
3. 獨立顯卡 (強烈建議 VRAM 8GB+)
並更新至最新驅動程式

19. edisonlee55
SD WebUI 安裝 | Git CLI
$ git clone
https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

20. edisonlee55
SD WebUI 安裝 | GitHub Desktop

21. edisonlee55
SD WebUI 安裝 | GitHub Desktop

22. edisonlee55
SD WebUI 安裝 | GitHub Desktop

23. edisonlee55
SD WebUI 安裝 | 編輯啟動檔

24. edisonlee55
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=--gradio-auth <登入帳號>:<登入密碼>
--enable-console-prompts --xformers --deepdanbooru
call webui.bat
webui-user.bat
SD WebUI 安裝 | 編輯啟動檔

25. edisonlee55
SD WebUI 安裝 | 模型檔資料夾
① Stable Diffusion Checkpoint (大模型)
- 將模型檔放在 modelsStable-diffusion
② VAE (Variational AutoEncoder)
- 可放在 modelsStable-diffusion 或 modelsVAE
③ LoRA / HyperNetworks / Textual Inversion (小模型)
- LoRA: modelsLora
- HyperNetworks: modelshypernetworks
- Textual Inversion (Embedding): embeddings

26. edisonlee55
啟動 SD WebUI

27. edisonlee55
$ git pull
更新 SD WebUI

28. edisonlee55
餓餓累累貓貓

29. edisonlee55
Reference
1. 萌芽綜合天地- AI 繪圖相關文章
2. GitHub (AUTOMATIC1111/stable-diffusion-webui) - SD WebUI Features
3. GitHub (AUTOMATIC1111/stable-diffusion-webui) - Command Line Arguments and Settings
4. J. Alammar - The Illustrated Stable Diffusion
5. Ivon的部落格 - Stable Diffusion模型訓練教學(Textual Inversion、HyperNetwork、LoRA)
6. Reddit (r/StableDiffusion) - Well-Researched Comparison of Training Techniques (Lora, Inversion, Dreambooth,
Hypernetworks)
7. Hugging Face - Stable Diffusion with 🧨 Diffusers
8. Hugging Face - Difference between pruned-fp32 and pruned ? Where is pruned-fp32 for v4.5
9. GitHub (azher-alnabi/stable-diffusion-float-point-analysis) - Comprehensive Image Fidelity Analysis: fp16 vs fp32
10. 知乎 - 在StableDiffusion中说起VAE时,我们在谈论什么?

30. edisonlee55
Thank you!
I am Edison Lee
My Website: edisonlee55.com (dum.tw)
You can find me at
@edisonlee55 (Twitter, Facebook, and anything that is social media.)

31. edisonlee55
Demo 教學時間
UwU
edisonlee55 852話 (@8co28)