SD Forge는 AUTOMATIC1111의 변형 버전으로, 매우 실행속도가 빠르는 등 여러가지 장점이 있는 스테이블 디퓨전용 웹 UI입니다. 특히 ControlNet, SDV 등 몇가지 확장이 미리 통합되어 있어 따로 설치할 필요가 없어 편리합니다.
이 글에서는 SD Forge를 사용하여 SVD 비디오를 생성하는 방법을 알아보겠습니다.
스테이블 비디오 디퓨전(SVD)이란
스테이블 비디오 디퓨전(Stable Video Diffusion)은 2023년 11월 1일 Stability.ai에서 발표한, 이미지를 사용하여 짧은 비디오(움짤)을 생성하는 img2vid 생성 모델입니다. 이 글을 읽어보시면 ComfyUI에서 스테이블 비디오 디퓨전을 사용하는 방법을 보실 수 있습니다. 기타 AnimateDiff 등 Stable Diffusion을 사용한 비디오 생성 기법은 여기를 보시면 됩니다.
txt2img 로 이미지 생성
SVD로 비디오를 생성하기 위해서는 기본 이미지를 가져와야 합니다. 물론 자신의 사진이나 인터넷에서 가져와도 되는데, 저는 먼저 txt2img로 이미지를 생성하고, 이 이미지를 비디오로 만드는 방법을 사용하겠습니다.
txt2img 페이지에 들어가 아래와 같이 설정합니다. 참고로, 이 설정은 제가 생성한 이미지를 모아두는 사이트에서 가져온 것입니다.
모델 : JuggernautXL
프롬프트: cinematic movie still of a dutch girl with red long hair blown by wind, dark black blue cape, maple leaves, castle on the background, detailed beauty portrait, very detailed background, treasures, wallpaper hd, avatar image, evelyn, 8k hd wallpaper, main character, grimoire page, brave young girl, vintage art, portrait of merlin, hearthstone concept art, inspired by Magali Villeneuve, fantasy art, photorealistic, dark theme, dramatic lighting, golden necklace, head chain, ornate, Ana de Armas, amber heard
이미지 크기 : 1216x832
샘플러 : DPM++ 2M Karras
샘플링 단계 : 25
생성된 이미지는 아래와 같습니다. (4장 생성해서 마음에 드는 것을 골랐습니다. Seed 는 1907130253 입니다.)
SVD 비디오 생성
생성된 이미지 바로 아래에 여러개의 아이콘이 있는데요, 아래 그림과 같이 클래퍼보드 모양의 아이콘을 클릭하면...
아래와 같이 SVD 페이지로 이 이미지와 일부 생성 매개변수가 보내집니다.
여기에서 SVD 모델은 두가지가 있는데, 저는 25프레임까지 생성할 수 있는 SVD XT 모델을 사용했습니다. 이 모델을 다운로드 받아서, 아래 폴더에 넣어주시면 됩니다. 참고로, SVD 모델은 AUTOMATIC1111과 공유할 수 없어서 따로 받아서 사용하셔야 합니다.
webui_forge_cu121_torch21\webui\models\svd
그 아래로 여러가지 매개변수를 설정할 수 있는데, 이미지 크기는 자동으로 설정된 것이고요, 저는 Video Frames만 25로 설정하고 [Generate] 버튼을 눌렀습니다.
아래는 생성된 비디오입니다. 제 컴퓨터는 8GB VRAM 3070 을 사용하고 있는데, 1216x832 짜리 25프레임 비디오를 생성하는데 총 40분 가량 소요되었네요.
GIF 변환
아쉽게도 움짤은 무조건 mp4로만 생성됩니다. 그래서 GIF나 webp 포맷을 사용하려면 따로 변환해야 합니다. 제가 많이 사용하는 ezgif.com 에서 변환하는 방법을 보여드리겠습니다. 저는 webp 포맷으로 변환하겠습니다.
먼저 https://ezgif.com/video-to-webp/ 에 접속해서 [파일 선택] 버튼을 눌러 비디오를 선택한 후 [Upload video!] 버튼을 누릅니다.
아래로 내려가면 아래와 같이 비디오 변환 매개변수를 설정할 수 있는데, 저는 뒷부분이 이상하게 되어 4.5초를 3초로 줄여서 변환했습니다.
아래가 최종적으로 변환된 webp 파일입니다.
이상입니다.
민, 푸른하늘
====
- ComfyUI로 설치 및 사용법 기초
- ComfyUI 투토리얼
- ComfyUI를 위한 유용한 정보
- ComfyUI와 SDXL 사용법(1) - 기초
- ComfyUI에서 ControlNet 사용법
- 편리한 ComfyUI 워크플로 모음
- LCM-LoRA - 초고속 스테이블 디퓨전
- Stable Video Diffusion(비디오 스테이블 디퓨전)
- Stable Diffusion 인공지능 이미지 생초보 가이드
- Stable Diffusion 대표 UI - AUTOMATIC1111 설치방법
- Automatic1111 GUI: 초보자 가이드(메뉴 해설)
- Stable Diffusion에 대한 기본적인 이론
- ChatGPT로 스테이블 디퓨전 프롬프트 만들기