AI 이미지/AI Video 47

Hunyuan Video 사용방법 (ComfyUI)

Hunyuan 비디오는 놀라움 품질의 비디오를 생성할 수 있는, 자신의 PC에서 돌릴 수 있는 새로운 오픈소스 비디오 모델입니다. 텍스트 프롬프트를 입력하면 몇 분만에 짧은 비디오 클립을 생성할 수 있습니다. 비디오에 B-roll(보조 영상)을 삽입하고자 하는 유튜버와 같은 크리에이터에게 필수라고 할 수 있을 것 같습니다.아래는 Hunyuan Video의 예입니다.A panda riding a motorcycle in a busy New York City street, camera zooms out.이 글에서는 Hunyuan Video를 사용하여, Text-to-Video 및 Image-to-Video 모드로 비디오를 생성하는 방법을 설명합니다.소프트웨어Hunyuan Video의 원리생성 시간하드웨어 요..

LTX 비디오

LTX Studio, Facetune, Videoleap 등의 앱을 개발한 Lightricks가 최초의 비디오 생성 모델인 LTX Video 0.9를 공개했습니다. 이 모델은 오픈소스이며, 5초짜리 AI 비디오를 단 4초만에 생성할 수 있다고 주장하고 있습니다.LTX는  5초짜리 768x512 해상도 (24 fps)의 비디오를 단 4초만에 생성할 수 있는 "실시간 비디오 생성기"라고 주장합니다. 여기에 사용된 하드웨어는 Nvidia H100 GPU를 사용했는데,  RTX4090의 경우엔 4초짜리 비디오를 10초 이내에 생성할 수 있습니다. RTX 3070의 경우에는 약 50초 정도 소요되고요.LTX  모델은 이 디퓨전 트랜스포머(DiT) 아키텍처를 사용하며, 모델의 크기가 20 억개로 작아서, 6 GB ..

춤추는 스파게티

어떤 물체를 춤추게 한다는 아이디어를 생각해 본 적이 있으신가요? 이 글에 있는 ComfyUI 워크플로를 사용하면 쉽게 생성할 수 있습니다 이 예제 워크플로는 댄싱 비디오를 춤추는 스파게티로 전환해 줍니다.소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.이 워크플로의 원리이와 비슷한 작업을 두개의 샘플링 패스로 구현한 사례가 있지만, 이는 불필요합니다. 여기서는 단일 샘플링 패스를 사용해 동일한 결과를 얻는 방법을 보여드리겠습니다 입력 비디오는 흰색 피사체와 검은색 배경으로 이루어집니다. 이러한 비디오는 Depth 전처..

천사의 패션쇼

이 글은 아래의 비디오를 생성하는 따라하기 워크플로를 소개합니다.소프트웨어따라하기소프트웨어이글에서는 SD Forge 웹UI에서 Flux AI 모델을 사용하여 이미지를 생성하고, 이 이미지를 사용하여 Kling AI 서비스를 이용해 고품질 비디오로 전환합니다. 따라하기1단계: 소프트웨어 준비VRAM이 적은 PC에서 Flux AI 실행시키기에 따라 소프트웨어 및 Flux1 dev NF4 모델을 준비합니다. 2단계: 이미지 생성SD Forge 웹UI를 열과 아래와 같이 설정합니다.UI: fluxCheckpoint: flux1-dev-bnb-nf4-v2.safetensors프롬프트: An angel with large wings, blonde, exquisite clothes walking on a catwal..

AnimateDiff 모핑 비디오(ComfyUI)

이 워크플로는 아래와 같은 모핑(morphing) 비디오를 생성합니다. (모핑이란 하나의 형체가 전혀 다른 이미지로 변화하는 기법을 말합니다. 위키 참조) 프롬프트를 사용해 각각의 이미지를 미세하게 조정할 수도 있고, 변환 패턴도 조정할 수 있습니다. 소프트웨어이 워크플로의 원리따라하기비디오 변경소프트웨어이 글에서는 노드 기반의 스테이블 디퓨전 GUI인 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법과 초보가이드를 확인하시기 바랍니다. 이 워크플로의 원리개요모핑 비디오는 AnimateDiff 를 이용해서 프레임간의 일관성을 유지합니다. 이 워크플로에서는 아래와 같이 4개의 참조 이미지를 사용하는데, 각각 1/4 간격으로 비디오에 삽입합니다. 이 4장의 비디오는 SDXL ..

종이접기 인간 댄스 비디오(ComfyUI)

이 워크플로는 댄스 비디오를 종이접기(Origami) 스타일로 변환하는 워크플로입니다. 오리가미의 색과 형태는 원하는 대로 바꿀 수 있습니다. 배경은 일반적으로 입력 비디오를 따르지만, 프롬프트로 일부 변경할 수 있습니다.소프트웨어워크플로의 원리따라하기소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. 워크플로의 원리ControlNet이 워크플로에서는 세가지 ControlNet을 사용하여 비디오의 구도를 복제합니다.Depth 콘트롤넷 : Depth Anything 전처리기를 하여 depth 필드를 추출합니다. 일반 Midas 전처리기는 문제가 있습니다.QR code..

동물 댄스 비디오 워크플로

이 워크플로는 스테이블 디퓨전을 사용해 댄스 비디오의 주체를 동물로 변경하는 워크플로입니다. 이 워크플로에 사용되는 기법은 아래와 같습니다.IP-adapter - 일관된 캐릭터 생성다중 콘트롤넷 - 프레임간의 일관된 움직임AnimateDiff - 프레임간의 일광성LCM LoRA -  빠른 비디오 생성목차는 아래와 같습니다.소프트웨어워크플로 따라하기비디오 변경 방법소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 빠르면서도 유연하여 사용자 저변을 급속히 확대하고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면,설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.워크플로 따라하기1단계: ComfyUI 워크플로 불러오기아래의 파일을 다운로드 받아 ComfyUI 화면에 Drag&Drop..

Kling AI 비디오에서 움직임 지시 방법

Kling AI 는 이미지를 video로 변환할 수 있는 최고의 온라인 비디오 생성기 중 하나입니다. Kling은 text-to-image 생성기만 가지고 있지만, 자신의 PC 에서 고품질 이미지를 생성할 수 있는 Flux AI 모델과 궁합이 잘맞습니다. 대부분의 경우 이미지로 부터 비디오를 생성할 때, 텍스트 프롬프트에 움직임을 기술한 후, 그 다음에는 생각한 대로 이미지가 만들어지길 기도하는 방법뿐이 없습니다. 하지만 Kling 을 사용할 때 아래와 같이 움직임을 정밀하게 지시하는 방법이 존재합니다.미리 준비할 사항Kling 에서 움직임을 지시하는 방법미리 준비할 사항이 글에서는 Flux AI 모델을 사용해 이미지를 생성한 후, Kling AI 를 사용해 비디오를 생성합니다.Flux AI 모델은 Co..

Hailuo AI를 사용한 AI 비디오 생성

중국 MiniMax AI라는 기업에서 새로운 Hailou 라는 text-to-video / image-to-video 도구를 공개했습니다. 문장을 입력하면 짧은 고품질 비디오로 변환해 주는 도구입니다. 현재 6초짜리 비디오를 제공하지만, 향후엔 10초짜리 비디오까지 제공할 예정이라고 합니다. 생성되는 비디오는 해상도가 1280x720 이며, 초당 프레임 수는 25인 HD 급 비디오입니다.현재Hailou 은 MiniMax 웹사이트에서 무료로 시험해 볼 수 있습니다. MiniMax는 최근 알리바바와 텐센트로부터 6억 달러에 달하는 투자를 받았으며, AI 비디오 시장에서 강력한 경쟁자가 될 것으로 생각됩니다.참고로 MiniMax의 공식 트레일러를 보시면, 길이가 길면서도 일관성이 유지되고 사실적인 영화급 비디..

Kling을 사용한 AI 비디오 생성

Kling은 최신 비디오 생성기입니다.  텍스트나 이미지 프롬프트를 입력받아 짤막한 비디오 클립을 생성합니다. 이 글에서는 Kling을 사용해 아래와 같은 비디오를 생성하는 방법을 알아보겠습니다.A Persian cat wearing sunglasses walking on a desert with pyramids in background.Flux AI + Kling AI img2vidKling 이란?Kling 사용법Kling 사용시 팁Kling 사용시 팁Kling 이란?Kling은 Kuaishou AI 팀이 개발한 AI 모델입니다. 공개 당시부터 인터넷에 센세이션을 일으켰죠. 심지어는 OpenAI의 비디오 생성 인공지능인 소라(Sora)의 대항마라고도 알려져 있습니다.Kling 사용법Kling은 웹서비스..