Stable Diffusion (스테이블 디퓨전) 사용자 인터페이스 툴 종류(web UI) -AUTOMATIC1111, ComfyUI

Stable Diffusion (스테이블 디퓨전) 사용자 인터페이스 툴 종류(web UI) -AUTOMATIC1111, ComfyUI

Stable Diffusion (스테이블 디퓨전)

 

Stability AI에서 개발한 인공지능 기반 이미지 생성 딥러닝 모델. 사용자가 텍스트 프롬프트를 입력하면 이미지를 생성합니다.
모델은 수많은 이미지와 그 이미지에 대한 설명(텍스트 캡션)을 기반하여 단어와 시각적 형태의 관계를 학습
잠재 확산 모델(Latent Diffusion Model) 기술을 이용. 랜덤한 노이즈 이미지에서 시작해서 단계적으로 노이즈를 역확산(reverse diffusion)  과정을 통해 의미 있는 이미지로 변환. 
https://en.wikipedia.org/wiki/Stable_Diffusion

 

오픈 소스로 공개되어 사용자가 모델을 개인 컴퓨터에 직접 설치하여 무료로 사용가능(DALL-E, Midjourney등의 대부분 이미지 생성 모델들은 클라우드 서비스 형태 제공)
다른 모델에 비해 상대적으로 낮은 사양에서도 작동하도록 최적화되어있으며 사용자가 모델을 수정 및 커스터마이징 가능합니다.

Stable Diffusion를 단독으로 사용하기 어려워 일반적으로 UI 또는 툴을 통해 다룹니다 (Python 코드, 라이브러리 설치, 커맨드 라인 사용법 등 기술적인 지식이 필요) UI는 이러한 복잡한 과정 대신에 직관적인 인터페이스를 제공합니다.

Stable Diffusion web UI 종류

Stable Diffusion을 웹 브라우저에서 시각적으로 쉽게 제어할 수 있도록 만든 사용자 인터페이스(UI) 
AUTOMATIC111 webUI, ComfyUI, DreamStudio, InvokeAI, Fooocus등

AUTOMATIC1111 webUI
가장 널리 사용되는 브라우저 기반의 인터페이스(웹UI)로 다양한 기능과 확장성을 제공
txt2img 텍스트 프롬프트를 입력하면 이미지를 생성
img2img - 이미지를 업로드하고 프롬프트를 입력하여 이미지 스타일 변형
Outpainting - 이미지의 영역을 확장
Inpainting - 이미지의 일부를 수정(브러시로 영역을 설정하면 해당 부분 채우기)
기타 - 업스케일, Color Sketch, ControlNet 플러그인 지원, LoRA, Textual Inversion, Checkpoint, 확장기능
https://en.wikipedia.org/wiki/Automatic1111

설치형 프로그램으로 로컬 PC에서 실행. 아래 깃허브 웹사이트에서 다운로드하고 설치가능합니다.
https://github.com/AUTOMATIC1111/stable-diffusion-webui

GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI

 

 

ComfyUI
ComfyUI는 Stable Diffusion(이미지 생성 AI 모델)을 노드 기반(Node Graph Editor)의 사용자 인터페이스에서 워크플로우(이미지 생성 과정)를 시각적으로 구축하는 방식으로 사용할수있는 기능을 제공합니다.
텍스트 프롬프트, 이미지 입력, depth map, controlnet, Lora 등 Stable Diffusion의 다양한 기능들을 노드로 시각화하고 파이프라인(이미지 생성과정)의 각 단계를 세밀하게 제어, 수정 및 재사용할수있음

프롬프트(Text Prompt) - CLIP Encoder - 샘플러(UNet Sampler) -  디코더(VAE Decoder) 출력(Save Image)

https://en.wikipedia.org/wiki/ComfyUI

Automatic1111에 비해 더 모듈화되고 프로그래머블한 환경
설치형 프로그램으로 로컬 PC에서 실행

https://github.com/comfyanonymous/ComfyUI

GitHub - comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface

 

 

기타
DreamStudio -  Stability AI가 제공하는 웹 기반의 공식 UI
InvokeAI -  이미지 편집을 위한 통합 캔버스(Unified Canvas) 기능이 특징. 페인팅 소프트웨어와 유사한 편집 환경을 제공