이 워크플로는 이미지 생성 AI 모델(FLUX)과 비디오 생성 AI 모델(Hunyuan)을 이용해 비디오를 생성합니다.
- Flux를 사용하여 AI 이미지를 생성합니다.
- 이렇게 생성된 이미지를 첫 프레임으로 사용하여, Hunyuan 이미지-비디오 모델을 이용해 비디오로 전환합니다.
아래는 이렇게 생성한 비디오의 예입니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력하며, 현재 거의 대세로 자리잡고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
워크플로 작동 원리
이 워크플로 전반부는 Flux.1 dev를 사용하여 고품질의 이미지를 생성합니다. 이 부분은 제가 요즘 자주 사용하는 워크플로를 약간 수정한 겁니다. 수정한 부분은 맨 오른쪽으로, 생성된 이미지를 [Image Sender] 노드를 사용해서 [Image Receiver]노드로 보내기 위한 목적입니다.
이 워크플로 후반부는 생성된 이미지를 사용하여 Hunyuan i2v 모델을 사용하여 이미지를 생성하는 부분입니다. 이 워크플로는 Hunyuan 이미지-비디오에서 소개한 워크플로와 거의 비슷하며, 720*480 61 프레임을 생성하는데 샘플링 시간만 약 5분 정도 소요됩니다. (Wan 2.1 모델에 비해 1/3 정도 소요됩니다)
따라하기
1 단계: 모델 다운로드
Flux 모델
이 워크플로에서는 flux1-dev.sft 모델을 사용합니다. 이 파일을 다운로드 받은 후, ComfyUI\models\unet 또는 ComfyUI\models\diffusion_models 에 넣어줍니다.
VAE 모델 ae.safetensors 을 다운로드 받은 후, ComfyUI\models\VAE 폴더에 넣어줍니다. 저는 FLUX라는 서브 폴더를 만들어서 넣어주었습니다.
Hunyuan i2v 모델
이전 글인 Hunyuan 이미지-비디오 에서 모델을 다운로드 받으셨다면 따로 다운로드 받을 필요가 없습니다.
아래의 모델을 다운로드 받아 ComfyUI > models > diffusion_models 폴더에 넣어줍니다.
아래의 텍스트 인코더 모델을 다운로드 받아 ComfyUI > models > text_encoders 폴더에 넣어줍니다.
아래의 CLIP vision 모델을 다운로드 받아 ComfyUI > models > clip_vision 폴더에 넣어줍니다.
아래의 Wan VAE 모델을 다운로드 받아 ComfyUI > models > vae 폴더에 넣어줍니다.
2 단계: 워크플로 불러오기
아래의 Json 파일을 다운로드 받아 ComfyUI로 불러옵니다.
이 워크플로를 불러오면 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요합니다.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
가끔은 빠진 커스톰 노드 가져오기를 실행했는데도 계속 같은 오류가 반복될 수 있습니다. 이때에는 ComfyUI를 최신버전으로 업데이트를 해보고, 그래도 안되면 ComfyUI를 새로 설치하여야 합니다.
3 단계: 프롬프트 검토
이 워크플로 아래쪽에 Prompt 라는 노드가 있습니다. 이 프롬프트는 이미지 생성 및 비디오 생성 모두에 사용됩니다.
4 단계: 이미지 생성
이 워크플로 맨위에는 아래와 같은 [Fast Groups Muter] 노드가 있습니다. 먼저 아래와 같이 Wan 2.1 그룹은 끄고 실행시키면 이미지가 생성됩니다. 이미지가 마음에 안들면 마음에 드는 이미지가 나올때까지 반복해서 돌려줍니다. (KSampler 의 Seed 번호가 fixed 로 고정되어 있으니, 1씩 증가시키면서 실행시키면 됩니다)
그 다음, 아래와 같이 [Flux Text2Image] 그룹은 끄고, [Hunyuan] 그룹을 켜고 작동시키면 비디오가 생성됩니다. 곤충의 움직임이 마음에 안들면 마음에 들 때까지 계속 반복해서 돌리면 됩니다. (KSampler 의 Seed 번호가 fixed 로 고정되어 있으니, 1씩 증가시키면서 실행시키면 됩니다)
이상입니다.
이 글은 stable-diffusion-art.com의 글을 참고로하여 작성하였습니다.