img2vid 11

VRAM이 작은 PC에서 긴 Video를 생성하기

프레임팩(FramePack)은 비디오 길이에 관계없이 VRAM을 적게(6 GB) 소모하는 비디오 생성 기법입니다. 프레임팩은 이미지-비디오(Image-to-Video), 즉 텍스트 명령과 이미지를 상용하여 비디오를 생성합니다.이 글에서는 프레임팩이 무엇인지 소개하고 윈도에서 사용하는 방법을 설명합니다.프레임팩이란?프레임팩 설치 방법(윈도)프레임팩 사용 방법프레임팩이란?프레임팩(FramePack)은 비디오에서 이전 프레임을 기반으로 다음 프레임을 예측합니다. 이 과정에서 비디오의 길이에 관계없이 틀랜스포머(transformer)내에서 고정된 콘텍스트 길이를 사용합니다. 이를 통해 많은 비디오 생성기(Wan 2.1, Hunyuan, LTX Video 등)들에서 볼 수 있는, 메모리에 따라 비디오 길이가 제..

Flux-Hunyuan 텍스트-비디오 워크플로

이 워크플로는 이미지 생성 AI 모델(FLUX)과 비디오 생성 AI 모델(Hunyuan)을 이용해 비디오를 생성합니다.Flux를 사용하여 AI 이미지를 생성합니다.이렇게 생성된 이미지를 첫 프레임으로 사용하여, Hunyuan 이미지-비디오 모델을 이용해 비디오로 전환합니다. 아래는 이렇게 생성한 비디오의 예입니다.소프트웨어워크플로 작동 원리따라하기소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력하며, 현재 거의 대세로 자리잡고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.워크플로 작동 원리이 워크플로 전반부는 Flux.1 dev를 사용하여 고품질의 이미지를 생성합니다. 이 부분은 제가 요즘 자주 사용하는 워크플로..

생성속도가 더 빠른 Hunyuan Video 워크플로

Hunyuan Video는 자신의 PC에서 돌릴 수 있는 여러가지 비디오 모델중 가장 품질이 좋은 축에 속하는 모델입니다. 거기다가 다른 모델에 비하면 속도도 상당히 빠른 편입니다. Hunyuan Video 는 텍스트-비디오, 참조이미지를 사용한 비디오, 이미지-비디오 등을 지원하며, LoRA와 함께 사용하는 것도 가능한, 다재다능한 모델입니다.다만, 많은 사용자들이 지적하는 가장 큰 문제는 생성 속도가 상당히 늦다는 것이었습니다. (49 프레임, 480p 비디오를 생성할 때 약 6분 정도 소요되었습니다. 여기를 읽어보세요) 이 글에서는 Hunyuan 이미지-비디오 생성속도를 3배 올리는 방법을 소개시켜드립니다. 소프트웨어Hunyuan 이미지-비디오 모델 개요Hunyuan 이미지-비디오(Image-to-..

캐릭터 찌그러뜨리기 - Wan 2.1 LoRA

Wan 2.1 Video는 소비자용 컴퓨터를 사용해서 고품질의 비디오를 생성할 수 있는 생성형 인공지능 비디오 모델입니다. 그런데, AI 비디오 기업 중 하나인 Remade AI에서 Wan 2.1 Video를 위한 재미있는 LoRA모델을 공개했습니다. 보통의 LoRA는 특정 캐릭터나 스타일을 만들어 넣는 것이 보통이지만, 이 LoRA는 Wan 2.1 비디오에 캐릭터를 회전시키거나 찌브러뜨리거나 부풀리는 등의 특수 효과를 넣어주는 역할을 합니다. rotate 소프트웨어Remade LoRA for Wan 2.1 VideoLotation LoRA 따라하기다른 LoRA 사용하기소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력하며, 현재 거의 대세로 자리잡고 있는 ComfyUI를 사용합니다. Com..

알리바바, Wan 2.1 공개

2025년 2월 25일, 알리바바에서 고급 비디오 생성 작업을 위해 설계된 오픈 소스 AI 모델인 Wan 2.1을 공개했습니다. 2025년 2월의 공식적으로 공개되었으며, 현재 Apache 2.0 라이선스하에 자유롭게 사용할 수 있어, 전세계의 개발자들이나 기업들이 거의 아무런 제한없이 사용할 수 있습니다.Wan 2.1 이란?중요 기능 및 벤치마크 성능Wan 2.1을 Latenode의 자동 워크플로에 통합하기Wan 2.1 이란?Wan 2.1은 텍스트 프롬프트 또는 이미지 프롬프트를 입력받아 비디오를 생성할 수 있는 대규모언어모델(LLM, large language model)입니다. VBench에서 행해진 독립적인 평가에 따르면 Wan 2.1은 약 84.7%에 달하는 점수를 획득하여, 최고 성능의 AI ..

SVD/CogVideo/LTX/Kling/HailouAI 비교

요즘 여러가지 AI 비디오 생성 모델과 서비스가 등장하고 있습니다. 물론 가장 유명한 것은 소라(Sora)입니다. 2분가까이 되는 긴 영상을, 거의 완전한 물리적 법칙을 따르고 있는 듯한 비디오로 이름이 높습니다. 물론 유료고요. ChatGPT를 유료로 사용하면 소라도 사용할 수 있는데, 저는 아직 한번도 사용해 보지 않았습니다. 이 글에서는 제가 알고있는 몇가지 서비스에 대해 동일한 조건으로 비디오를 생성해 보고 비교해보겠습니다. 여기에서 CogVideo는 GGUF 버전이라 다른 모델/서비스보다 품질이 떨어질 수 있습니다. 또한 완벽한 비교는 아니고, 그냥 저의 느낌 정도니까 그냥 그러려니 해주시면 감사하겠습니다.Flux GUFF + SVDCogVideo GGUF Image2VideoFlux -> Kl..

ComfyUI SVD 무비

이 ComfyUI 워크플로는 세 개의 이미지를 생성한 후, 각각을 기반으로 Stable Video Diffuision 비디오를 생성하고, 이들을 결합해 하나의 비디오로 만드는 워크플로입니다.소프트웨어따라하기비디오 변경 방법소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.따라하기1단계: 모델 다운로드SVD TX 1.1 모델을 다운로드 받아야 합니다. 먼저 여기에서 사용 동의서를 작성한 후, 여기에서 모델을 다운로드 받으시면 됩니다. 이미지 생성에는 JuggernautXL 모델을 사용합니다. 이 두 개의 모델을 다운받은 후에는 ComfyUI\models\checkpo..

천사의 패션쇼

이 글은 아래의 비디오를 생성하는 따라하기 워크플로를 소개합니다.소프트웨어따라하기소프트웨어이글에서는 SD Forge 웹UI에서 Flux AI 모델을 사용하여 이미지를 생성하고, 이 이미지를 사용하여 Kling AI 서비스를 이용해 고품질 비디오로 전환합니다. 따라하기1단계: 소프트웨어 준비VRAM이 적은 PC에서 Flux AI 실행시키기에 따라 소프트웨어 및 Flux1 dev NF4 모델을 준비합니다. 2단계: 이미지 생성SD Forge 웹UI를 열과 아래와 같이 설정합니다.UI: fluxCheckpoint: flux1-dev-bnb-nf4-v2.safetensors프롬프트: An angel with large wings, blonde, exquisite clothes walking on a catwal..

Kling AI 비디오에서 움직임 지시 방법

Kling AI 는 이미지를 video로 변환할 수 있는 최고의 온라인 비디오 생성기 중 하나입니다. Kling은 text-to-image 생성기만 가지고 있지만, 자신의 PC 에서 고품질 이미지를 생성할 수 있는 Flux AI 모델과 궁합이 잘맞습니다. 대부분의 경우 이미지로 부터 비디오를 생성할 때, 텍스트 프롬프트에 움직임을 기술한 후, 그 다음에는 생각한 대로 이미지가 만들어지길 기도하는 방법뿐이 없습니다. 하지만 Kling 을 사용할 때 아래와 같이 움직임을 정밀하게 지시하는 방법이 존재합니다.미리 준비할 사항Kling 에서 움직임을 지시하는 방법미리 준비할 사항이 글에서는 Flux AI 모델을 사용해 이미지를 생성한 후, Kling AI 를 사용해 비디오를 생성합니다.Flux AI 모델은 Co..

SD Forge로 SVD 비디오 생성방법

SD Forge는 AUTOMATIC1111으로부터 파생된 웹 UI로 사용법은 비슷하지만, 콘트롤넷 등의 필수 확장을 내장하였고, 속도가 빠른 것이 특징입니다. SD Forge 설치 방법은 이 글을 읽어보시기 바랍니다. 사용법은 AUTOMATIC1111 사용법 과 거의 비슷하니 참고하세요.이 글에서는 SD Forge를 사용하여 SVD 비디오를 생성하는 방법을 알아보겠습니다.스테이블 비디오 디퓨전(SVD)이란txt2img 로 이미지 생성SVD 비디오 생성GIF 변환스테이블 비디오 디퓨전(SVD)이란스테이블 비디오 디퓨전(Stable Video Diffusion)은 2023년 11월 1일 Stability.ai에서 발표한, 이미지를 사용하여 짧은 비디오(움짤)을 생성하는 img2vid 생성 모델입니다. 이 글..