LTX Video는 생성 속도가 빠르고 VRAM 요구량이 낮으면서도 상대적으로 고품질의 비디오를 생성할 수 있는 모델입니다. LTX Video는 여러가지 모델이 있는데, 오늘 소개시켜드리는 LTXV-13B는 매개변수가 130억개로서 기존의 20억개의 모델에 비해 6배나 커졌습니다. 즉 이론적으로는 좀더 프롬프트를 잘 따르면서도 좋은 품질의 비디오를 생성할 수 있다는 것입니다.
소프트웨어
이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력하며, 현재 거의 대세로 자리잡고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.
LTXV 13B 모델의 장점
LTXV 13B 모델은 기존의 LTX Video 모델에 비해 다음과 같은 장점이 있습니다.
- 우수한 품질 : 13B 모델의 품질은 2B 모델보다 확연하게 뛰어난 품질을 보여줍니다.
- 속도는 쓸만 : 제가 사용하는 RTX 3070 에서 4초짜리 비디오를 생성하는데 약 10분 정도 소요가 되었습니다. 기존의 모델의 경우 4초짜리 비디오 생성에 50초 정도 소요되었으니, 10배 이상 늦어진 것은 맞지만, Hunyuan 등 다른 모델에 비해서는 준수한 편입니다.
기타 비디오를 생성하는 모델은 여러가지가 있습니다. 언젠가 다시한 번 비교를 해봐야겠네요.
따라하기
1 단계: 모델 다운로드
ltxv-13b-0.9.7-dev 모델을 다운로드 받아, ComfyUI\models\checkpoints 폴더에 넣어줍니다.
t5xxl_fp16.safetensors 를 다운로드 받아, ComfyUI\models\clip 폴더에 넣어줍니다.
2 단계: 워크플로 불러오기
아래의 Json 파일을 다운로드 받아 ComfyUI로 불러옵니다.
이 워크플로를 불러오면 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요합니다. 특히, ComfyUI를 실행시키고 ComfyUI 버전이 0.3.34 이상인지 확인해 보세요.
- 처음 사용할 때 - ComfyUI Manager 를 설치해야 합니다.
- ComfyUI를 오랜만에 사용할 때 - ComfyUI를 최신버전으로 업데이트해야 합니다.
- 노드가 없다고 (빨간색) 경고가 뜰 때 - 빠진 커스톰 노드를 가져오기해야 합니다.
- 불러오기 혹은 수행중 에러 발생시 - 커스톰 노드를 업데이트해야 합니다.
3 단계: 이미지 불러오기
아래와 같이 [Load Image] 노드에 원하는 이미지를 불러옵니다.
아래의 이미지를 사용하셔도 됩니다.
4 단계: 이미지 생성
이제 화면 오른쪽 위에 있는 Run 버튼을 누르면 워크플로가 실행되고 비디오가 생성됩니다.
설정 변경
위의 워크플로에서는 프롬프트를 적용하지 않았습니다. 원하시면 적절한 프롬프트를 넣으셔도 됩니다. 아래의 프롬프트를 추가해 비디오를 생성해 봤습니다.
프롬프트: A beautiful, platinum-haired woman in a white dress slowly walks through the woods toward the camera. Around her, balls of golden-orange light float in the air.
She holds her hand out in front of her and the balls of light converge on her hand and shoot forward. The screen goes white. (하얀 드레스를 걸친 아름다운 백금발의 긴 머리 여성이 숲속을 걸어 천천히 카메라 앞으로 다가온다. 그녀 주변에 금빛 오렌지색 빛 덩어리들이 떠오르고 있다.
그녀가 손을 앞으로 내밀자 빛 덩어리들이 그녀의 손으로 모여들고 앞으로 쏘아진다. 화면이 하얗게 변한다.)
그런데 손을 앞으로 내미는 모습은 보이지 않네요.
아래는 크기를 480*320으로 줄이고 길이는 8초로 늘려서 새로 생성한 결과입니다. 비디오 크기 및 길이는 [LTXV Base Sampler] 노드에서 수정할 수 있습니다. 또한 시드는 [RandomNoise] 노드에서 변경할 수 있습니다.
TeaCache
LTXV-13B 모델에도 품질을 약간 희생하여 생성 속도를 올려주는 TeaCache 옵션을 추가할 수 있습니다. 아래는 TeaCache 옵션을 추가한 워크플로입니다. rel_l1_thresh 값은 0.2로 설정했습니다.
이 워크플로에서 사용하는 이미지는 아래와 같습니다.
이 워크플로로 생성하면 768*512 해상도의 4초짜리 비디오 생성에 약 6분 정도 소요됩니다. 아래가 결과입니다.
그리고 아래는 위의 워크플로에서 [TeaCache] 노드만 ByPass 시킨 후 실행시킨 결과입니다. 결과물이 상당히 다르네요. 실행속도는 7분 30초입니다.
이상입니다.
이 글은 stable-diffusion-art.com의 글을 참고로하여 작성했습니다.
민, 푸른하늘