공간정보와 인터넷지도

FreeU는 잡음 제거기를 수정하여 이미지 품질을 향상시키는 스테이블 디퓨전용 애드온(Addon)입니다. 이글에서는 FreeU의 작동 원리과 AUTOMATIC1111 및 ComfyUI 에서 적용하는 방식을 알아보겠습니다. 이 글의 목차는 아래와 같습니다. FreeU 란? FreeU의 효과 AUTOMATIC1111에서 FreeU 사용하기 ComfyUI에서 FreeU 사용하기 FreeU v1과 FreeU v2 의 차이 제 비교 및 생각 FreeU 란? FreeU란 스테이블 디퓨전의 U-Net 잡음 제거기를 수정하여, 이미지 생성 프로세스를 향상시키는 기법으로, Chenyang Si 등이 저술한 FreeU: Free Lunchj in Diffusion U-Net에서 기술되어 있습니다. Chenyang 은 이 ..

이미지 프롬프트를 사용하면 이미지를 프롬프트의 일부로 사용하여 출력 이미지의 구도, 스타일 및 색상에 영향을 줄 수 있습니다. 이 글에서는 이미지 프롬프트가 무엇인지 알아보고, 이미지 프롬프트를 사용하는 방법을 알아봅니다. 이 글의 목차는 아래와 같습니다. 소프트웨어 설정 이미지 프롬프트란? 이미지 프롬프트 사용법 이미지 프롬프트 적용 효과 변경 IP-Adapter plus SDXL 모델에서 IP-Adapter 사용방법 소프트웨어 설정 이 글에 있는 내용은 스테이블 디퓨전의 대표적인 UI인 AUTOMATIC1111을 사용합니다. 원래 구글 Colab 및 Mac에서도 설치할 수 있지만, 이 블로그에서는 윈도11에 설치하는 방법만 다룹니다. AUTOMATIC1111을 처음 접하시는 분은 초보자 가이드를 읽어..

얼마전, Stable Diffusion을 오픈소스로 공개한 Stability.ai에서 텍스트 입력만으로 짧은 비디오(움짤)를 생성할 수 있는 Stable Video Diffusion을 공개했다는 소식을 알려드렸습니다(비디오 생성 스테이블 디퓨전 참조). 오늘은 이에 대한 좀 더 자세한 소식이 있어 소개합니다. 아래는 이 글에서 다루는 내용입니다. 비디오 스테이블 디퓨전(SVD) 이란? 비디오 스테이블 디퓨전(SVD) 모델 가중치 모델 파라미터 ComfyUI로 비디오 스테이블 디퓨전 사용하기(txt2vid) ComfyUI에서 이미지를 비디오로 변환하기(img2vid) ComfyUI에서 img2vid 사용하기 비디오 스테이블 디퓨전(SVD) 이란? Stable Video Diffusion(SVD, 비디오 생..

SDXL 터보 모델은 단 한번의 샘플링 단계만에 선명한 이미지를 생성하는 미세조정(fine-tuned) 모델입니다. 이 글에서 다루는 내용은 다음과 같습니다. SDXL 터보란 AUTOMATIC1111에서 SDXL 터보 사용하는 방법 ComfyUI에서 SDXL 터보 사용하는 방법 실시간 프롬프트 처리(Real-time Prompting) SDXL Turbo를 위한 최적 설정 성능 비교 SDXL Turbo와 LCM-LoRA 비교 SDXL 터보란? SDXL 터보(Turbo) 모델은 단 한번의 샘플링 단계만에 선명한 이미지를 생성하도록 미세조정(fine-tuned)한 SDXL(스테이블 디퓨전 XL) 모델입니다. 학습방법 SDXL 터보 모델의 학습 방법은 Axel Sauer 등이 저술한 논문 "적대적 확산 농축(..

LCM-LoRA를 사용하면 스테이블 디퓨전 모델을 사용한 이미지 생성 속도를 아주 빠르게 할 수 있습니다. 일반적인 경우 KSampler에서 20 단계 ~ 25 단계정도를 돌려야만 깔끔한 이미지를 생성할 수 있음에 비해, LCM-LoRA를 사용할 경우, 4-6 단계 정도면 비슷한 수준의 이미지를 생성할 수 있습니다. 즉 5배 정도 빨리 이미지를 생성할 수 있다는 것입니다. 또한 LCD-LoRA의 경우 SDXL에도 적용할 수 있어 유용할 것 같습니다. 특히 아래와 같은 AnimateDiff 비디오를 생성할 경우, 여러개의 프레임을 생성해야 하므로 속도가 매우 중요하다고 할 수 있습니다. 아래는 이 글의 목차입니다. LCM-LoRA란 무엇인가? LCM-LoRA의 작동 원리 LCM-LoRA 다운로드 AUTOM..