이 워크플로는 텍스트 프롬프트로부터 아름다운 기계 곤충 비디오를 생성하는 워크플로입니다. 이 워크플로는 FLUX AI를 사용하여 고품질의 이미지를 생성한 후, Wan 2.1 Video를 사용하여 비디오를 생성합니다.
 |
 |
 |
 |
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력하며, 현재 거의 대세로 자리잡고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
워크플로 작동 원리
이 워크플로 전반부는 Flux.1 dev를 사용하여 고품질의 이미지를 생성합니다. 이 부분은 제가 요즘 자주 사용하는 워크플로를 약간 수정한 겁니다. 수정한 부분은 맨 오른쪽으로, 생성된 이미지를 [Image Sender] 노드를 사용해서 [Image Receiver]노드로 보내기 위한 목적입니다.
이 워크플로 후반부는 생성된 이미지를 사용하여 Wan 2.1 i2v 모델로 이미지를 생성하는 부분입니다. 이 워크플로는 Wan2.1 i2v 워크플로와 거의 비슷하며, 720*480 61 프레임을 생성하는데 샘플링 시간만 약 15분 정도 소요됩니다.
따라하기
1 단계: 모델 다운로드
Flux 모델
이 워크플로에서는 flux1-dev.sft 모델을 사용합니다. 이 파일을 다운로드 받은 후, ComfyUI\models\unet 또는 ComfyUI\models\diffusion_models 에 넣어줍니다.
VAE 모델 ae.safetensors 을 다운로드 받은 후, ComfyUI\models\VAE 폴더에 넣어줍니다. 저는 FLUX라는 서브 폴더를 만들어서 넣어주었습니다.
Wan 2.1 모델
wan2.1_i2v_480p_14B_fp16.safetensors 모델을 다운로드 받아, ComfyUI\models\unet 또는 ComfyUI\models\diffusion_models 에 넣어줍니다.
umt5_xxl_fp8_e4m3fn_scaled.safetensors 모델을 다운로드 받아, ComfyUI\modes\text_encoders 폴더에 넣어줍니다.
clip_vision_h.safetensors 모델을 다운로드 받아, ComfyUI\models\clip_vision 폴더에 넣어줍니다.
wan_2.1_vae.safetensors 모델을 다운로드 받아, ComfyUI\models\vae 폴더에 넣어줍니다. 저는 Video라는 서브 폴더를 만들어서 넣어주었습니다.
2 단계: 워크플로 불러오기
아래의 Json 파일을 다운로드 받아 ComfyUI로 불러옵니다.
이 워크플로를 불러오면 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 프롬프트 검토
이 워크플로에서는 이미지 생성과 비디오 생성에 모두 동일한 프롬프트를 사용합니다. 따라서 이 프롬프트에는 비디오 생성에 필요한 곤충의 움직임(leg moves, foraging, walking) 이 포함되어 있습니다.
4 단계: 이미지 생성
이 워크플로 맨위에는 아래와 같은 [Fast Groups Muter] 노드가 있습니다. 먼저 아래와 같이 Wan 2.1 그룹은 끄고 실행시키면 이미지가 생성됩니다. 이미지가 마음에 안들면 마음에 드는 이미지가 나올때까지 반복해서 돌려줍니다. (KSampler 의 Seed 번호가 fixed 로 고정되어 있으니, 1씩 증가시키면서 실행시키면 됩니다)
그 다음, 아래와 같이 [Flux Text2Image] 그룹은 끄고, [Wan 2.1] 그룹을 켜고 작동시키면 비디오가 생성됩니다. 곤충의 움직임이 마음에 안들면 마음에 들 때까지 계속 반복해서 돌리면 됩니다. (KSampler 의 Seed 번호가 fixed 로 고정되어 있으니, 1씩 증가시키면서 실행시키면 됩니다)
이상입니다.
이 글은 stable-diffusion-art.com의 글을 참고로하여 작성하였습니다.