공간정보와 인터넷지도

얼마전, Stable Diffusion을 오픈소스로 공개한 Stability.ai에서 텍스트 입력만으로 짧은 비디오(움짤)를 생성할 수 있는 Stable Video Diffusion을 공개했다는 소식을 알려드렸습니다(비디오 생성 스테이블 디퓨전 참조). 오늘은 이에 대한 좀 더 자세한 소식이 있어 소개합니다. 아래는 이 글에서 다루는 내용입니다. 비디오 스테이블 디퓨전(SVD) 이란? 비디오 스테이블 디퓨전(SVD) 모델 가중치 모델 파라미터 ComfyUI로 비디오 스테이블 디퓨전 사용하기(txt2vid) ComfyUI에서 이미지를 비디오로 변환하기(img2vid) ComfyUI에서 img2vid 사용하기 비디오 스테이블 디퓨전(SVD) 이란? Stable Video Diffusion(SVD, 비디오 생..

SDXL 터보 모델은 단 한번의 샘플링 단계만에 선명한 이미지를 생성하는 미세조정(fine-tuned) 모델입니다. 이 글에서 다루는 내용은 다음과 같습니다. SDXL 터보란 AUTOMATIC1111에서 SDXL 터보 사용하는 방법 ComfyUI에서 SDXL 터보 사용하는 방법 실시간 프롬프트 처리(Real-time Prompting) SDXL Turbo를 위한 최적 설정 성능 비교 SDXL Turbo와 LCM-LoRA 비교 SDXL 터보란? SDXL 터보(Turbo) 모델은 단 한번의 샘플링 단계만에 선명한 이미지를 생성하도록 미세조정(fine-tuned)한 SDXL(스테이블 디퓨전 XL) 모델입니다. 학습방법 SDXL 터보 모델의 학습 방법은 Axel Sauer 등이 저술한 논문 "적대적 확산 농축(..

LCM-LoRA를 사용하면 스테이블 디퓨전 모델을 사용한 이미지 생성 속도를 아주 빠르게 할 수 있습니다. 일반적인 경우 KSampler에서 20 단계 ~ 25 단계정도를 돌려야만 깔끔한 이미지를 생성할 수 있음에 비해, LCM-LoRA를 사용할 경우, 4-6 단계 정도면 비슷한 수준의 이미지를 생성할 수 있습니다. 즉 5배 정도 빨리 이미지를 생성할 수 있다는 것입니다. 또한 LCD-LoRA의 경우 SDXL에도 적용할 수 있어 유용할 것 같습니다. 특히 아래와 같은 AnimateDiff 비디오를 생성할 경우, 여러개의 프레임을 생성해야 하므로 속도가 매우 중요하다고 할 수 있습니다. 아래는 이 글의 목차입니다. LCM-LoRA란 무엇인가? LCM-LoRA의 작동 원리 LCM-LoRA 다운로드 AUTOM..

2023년 11월 21일, 스테이블 디퓨전 개발사인 Stability.AI에서 비디오를 생성할 수 있는 스테이블 디퓨전 모델인 Stable Video Diffusion을 공개했습니다. 현재는 IMG2VID, 즉 이미지를 입력하면 그 이미지를 14프레임 또는 25프레임의 짧은 비디오만 생성되는 수준으로서, 텍스트 입력이 불가능하니 움직임을 제어하는 것은 불가능한 상태입니다. 거의... AnimateDiff에서 지원하는 정도라고 보시면 될 것 같네요. 이마저도 연구용으로만 제공되며, Stability.ai에서 제공하는 공식 샘플 사이트라고 할 수 있는 ClipDrip에서도 지원을 하지 않기 때문에 일반 사용자들은 AUTOMATIC1111 이나 ComfyUI에서 지원될 때까지는 사용할 수 없을 것 같습니다. ..

스테이블 디퓨전을 사용해 인공지능 이미지를 생성하다보면 마음에 안드는 이미지도 많이 생성되기 마련입니다. 전체적으로 구도가 마음에 안든다면 버려야겠지만, 얼굴이나 옷 색깔과 같이 일부분만 마음에 안들 경우에는 인페인트 기능을 사용해 그 부분만 새로 그릴 수 있습니다. 이 글의 목차는 아래와 같습니다. 소프트웨어 설정 인페인트 기본 예제 인페인트의 원리 인페인트 매개변수 설정 인페인트 전용 모델 콘트롤넷 인페인트 자동 인페인트 SDXL 모델의 인페인트 ComfyUI에서의 인페인트 소프트웨어 설정 이 글에서는 스테이블 디퓨전 용 AUTOMATIC1111 웹UI를 사용합니다. 원래 Mac에서도 사용할 수 있고, 구글 Colab에도 설치할 수 있지만, 저는 윈도에서 설치하는 방법만 정리했습니다. 스테이블 디퓨전..

예전에 Stable Diffusion - 구역 분할 프롬프트 사용법이라는 글에서, AUTOMATIC11111을 사용할 때 프롬프트를 구역별로 다르게 지정하는 방법을 설명했습니다. 이 글은 ComfyUI에서 비슷한 방법을 구현하는 방법을 설명합니다. 참고로 여기에 포함된 이미지(캡처 이미지 제외)는 대부분 ComfyUI의 워크플로가 포함되어 있으므로, 다운로드 받아 ComfyUI 캔버스에 Drag&Drop 또는 메인 메뉴에서 [Load] 버튼으로 읽어들여 사용할 수 있습니다. 이 글에서 다루는 내용은 아래와 같습니다. 소프트웨어 설치 간단 예제: 좌우 분할 4분할 봄 여름 가을 겨울 Visual Area Conditioning 노드 4분할 봄여름가을 - Visual Area Conditioning 노드 소..

이 커스텀 노드를 사용해서 인공지능 이미지를 생성하기 위해서는 먼저 ComfyUI를 설치해야 합니다. ComfyUI 설치 및 간략한 사용방법은 이 글을 참고하세요. ComfyUI를 설치한 후에는 ComfyUI Manager 커스텀 노드를 설치하는 게 좋습니다. ComfyUI Manager 커스텀 노드 설치 방법은 이 글을 참고하세요. 이 글에서 다루는 내용은 아래와 같습니다. Visual Area Conditioning 커스텀 노드 설치 Visual Area Conditioning 커스텀 노드 사용법 Visual Area Conditioning 워크플로 Multi Latent Composite 커스텀 노드 사용법 Visual Area Conditioning 커스텀 노드 설치 커스텀 노드는 Github 주..

ComfyUI 를 사용하면 워크플로를 아주 자유롭게 설정할 수 있습니다. 그냥 노드들의 위치를 원하는 대로 바꾸는 정도가 아니라, 아얘 다른 노드로 바꿔서 형태는 완전히 다르지만, 내용상으로는 완전히 동일한 워크플로를 만드는 것도 가능합니다. 그러다보니 (그 이외에도 여러가지 이유가 많지만) 형태가 거의 변하지 않는 AUTOMATIC1111과는 달리 ComfyUI는 사용하기 힘들다는 푸념이 나오기 마련입니다. 저도 처음엔 아주 힘들었고, 사용하기 시작한지 두어 달이 지난 지금도 잘 알지 못하는 부분이 많습니다. 그래도 지금은 그럭저럭 적응하고 있고, AUTOMATIC1111보다 ComfyUI를 사용하는 시간이 더 늘어나고 있는 편입니다. 아래는 제가 자주 사용하고 있는 워크플로 몇가지를 정리해봤습니다. ..

이 글에서는 HiRes Fix (High Resolution Fix, 고해상도 수정)이라는 기법을 소개합니다. 이 기법은 2 패스 Txt2Img 기법이라고도 하는데, txt2img 방식으로 저해상도 잠재 이미지를 생성한 후, 이 잠재 이미지를 확대하고 다시 img2img 방식으로 이미지를 생성하는 기법을 말합니다. 뭔가 여러번 단계를 거쳐야 해서 약간 복잡하기는 하지만, 그냥 이미지를 확대하는 것에 비해 매우 고품질의 이미지를 얻을 수 있는 장점이 있습니다. 먼저 결과물을 보여드리겠습니다. 아래 왼쪽은 그냥 txt2img로 생성한 이미지이고, 오른쪽은 HiRes. Fix 기법을 적용해 생성한 이미지입니다(이미지 크기가 다르지만 동일한 크기로 비교해봤습니다). 보시는 것처럼, 이미지 크기가 커진 것과는 별..

얼마 전 ComfyUI를 이용해서 무한 줌 영상을 만드는 글에는 아래와 같이 [Efficient Loader] 노드와 [KSampler (Efficient)] 노드를 사용했습니다. 그 글에서는 자세하게 설명하지 않았지만, 아래에서 보시는 것처럼 [Efficient Loader] 노드는 체크포인트 모델, VAE, LoRA 모델, 프롬프트, 레이턴트 이미지 등 모델에 관련된 거의 대부분의 기능이 합쳐져 있는 노드입니다. 이 노드를 [KSmapler (Efficient)] 노드와 함께 사용하면 워크플로를 아주 깔끔하게 구성할 수 있어 편리한 듯합니다. 이 글에서는 이 두 가지 노드를 포함해서 Efficiency 관련 노드를 좀 더 자세하게 설명합니다. 이 글에서 다루는 내용은 아래와 같습니다. Efficien..