Stability Ai에서 Stable Diffusion 3.5 Large 모델과 더 빠른 Turbo 버전을 공개했습니다. Stable Diffusion Medium의 실패를 바로잡고, SD 3.5 Large는 괄목할만한 성능 향상이 이루어졌습니다. 프롬프트의 이해도가 높아졌고, 다양한 스타일의 이미지를 생성할 수 있습니다.
이 글에서는 Stable Diffusion 3.5 Large 모델에 대해 알아보고, 3070에서는 메모리 부족문제로 SD 3.5 Large를 직접 돌릴 수 없기 때문에 SD 3.5 GGUF 를 이용해 ComfyUI에서 돌릴 수 있는 방법을 알아보겠습니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
| 참고 : 이 글에서는 SD 3.5용 GGUF 포맷을 사용합니다. GGUF에 대한 좀 더 자세한 사항은 이 글을 참고하세요. |
SD 3.5 Large 모델
생성 시간
현재 ComfyUI에서는 아래와 같이 두가지 모델이 사용 가능한데, 실행시간은 RTX4090과 RTX 3070(GUFF)를 기준으로 작성했습니다.
| 모델의 종류 | 설명 | RTX4090 실행시간 |
| SD 3.5 Large | 풀 모델(20 스텝) | 20초 |
| SD 3.5 Large Turbo | 농축모델(4 스텝) | 10초 |
| SD 3.5 GGUF | (20 스텝) | 70초(RTX3070) |
이미지 크기
표준 이미지 크기는 1024x1024 입니다. SDXL이나 Flux와 마찬가지로 1M 픽셀 전후로 여러가지 종횡비를 사용할 수 있습니다.
- 1:1 – 1024 x 1024
- 5:4 – 1152 x 896
- 3:2 – 1216 x 832
- 16:9 – 1344 x 768
메모리 요구량
일반 SD 3.5 Large 모델은 최소 12GB 가 필요합니다. GUFF의 경우엔 더 작은 VRAM GPU에서도 무난히 돌아갑니다(다만 이미지 품질은 조금 낮아집니다).
라이선스
SD 3.5 Large는 보다 허용적인 커뮤니티 라이센스로 제공되므로, 소규모 기업에서는 상업적으로도 이용할 수 있습니다.
따라하기
1단계: 모델 다운로드
GGUF unet 모델
이 글에서는 SD 3.5 Large GGUF를 사용합니다. 링크에 들어가면 아래와 같이 여러개의 파일이 보이는데, 원하는 것만 골라서 다운로드 받으시면 됩니다. 저는 이중에서 F16, Q8_0, Q4_0 등 세가지를 받았습니다.
다운로드 받은 파일은 ComfyUI_windows_portable\ComfyUI\models\unet 속에 넣어주시면 됩니다.
텍스트 인코더 파일 다운로드
Stable Diffusion 3 medium이나 Flux를 사용하실 경우 일부 모델은 이미 다운로드 받으실 수 있습니다.
아래 3개의 모델을 다운로드 받고 ComfyUI\models\clip 폴더에 넣어줍니다.
vae 파일 다운로드
아래의 파일을 다운로드 받고 ComfyUI\models\vae 폴더에 넣어줍니다.
2 단계: ComfyUI 워크플로 불러오기
아래의 JSON 파일을 다운로드 받은 후, ComfyUI 화면에 Drag&Drop 해줍니다.
3 단계: 프롬프트 검토
이 워크플로에서는 아래와 같은 프롬프트를 사용했습니다. 바람이 스산한 밤에 마녀와 고양이가 빗자루위에 앉아있는 장면입니다. 원하는 내용이 있으면 변경하셔도 됩니다.
프롬프트: An ultra-detailed, semi-realistic photo of a witch and her cat sitting on a broomstick, The witch, with a clearly visible face, wears a pointed hat and a long, flowing cloak that billows slightly in the night wind. Her expression is mysterious yet serene, with intricate facial features illuminated by the moonlight. Beautiful detailed face.
4 단계: 이미지 생성
이제 [Queue] 버튼을 누르면 이미지가 생성됩니다. Flux GGUF 를 사용할 때와 생성시간은 비슷하네요.
이상입니다.
이 글은 stable-diffusion-art.com의 글 등 여러가지 글을 참조로 해서 작성하였습니다.
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기