스테이블 디퓨전 133

Kling AI 비디오에서 움직임 지시 방법

Kling AI 는 이미지를 video로 변환할 수 있는 최고의 온라인 비디오 생성기 중 하나입니다. Kling은 text-to-image 생성기만 가지고 있지만, 자신의 PC 에서 고품질 이미지를 생성할 수 있는 Flux AI 모델과 궁합이 잘맞습니다. 대부분의 경우 이미지로 부터 비디오를 생성할 때, 텍스트 프롬프트에 움직임을 기술한 후, 그 다음에는 생각한 대로 이미지가 만들어지길 기도하는 방법뿐이 없습니다. 하지만 Kling 을 사용할 때 아래와 같이 움직임을 정밀하게 지시하는 방법이 존재합니다.미리 준비할 사항Kling 에서 움직임을 지시하는 방법미리 준비할 사항이 글에서는 Flux AI 모델을 사용해 이미지를 생성한 후, Kling AI 를 사용해 비디오를 생성합니다.Flux AI 모델은 Co..

VRAM이 적은 PC에서 Flux AI 실행시키기

Fulx AI 는 2024년 8월 현재 가정용 PC에서 돌릴 수 있는 가장 좋은 오픈소스 AI 이미지 생성기 입니다. 하지만 파라미터가 120억개에 이르러 요구 VRAM 용량이 무지막지합니다. 이 글에 따르면 ComfyUI 에서도 최소 16GB가 필요하니까요. 하지만 고성능 GPU 카드가 없어도  6GB  VRAM으로도 Flux AI를 돌릴 수 있는 방법이 있습니다. SD Forge WebUI를 사용하는 방법입니다.Forge란?low VRAM NF4 Flux 모델이란?Forge에서 Flux AI NF4 모델을 사용하는 방법Forge란?SD Forge는 스테이블 디퓨전용 AUTOMATIC1111 의 포크중 하나입니다. 속도와 GPU VRAM 소모를 최적화할 수 있도록 백본을 새로 작성하였다고 합니다. A1..

스타일이 비슷한 이미지 만들기 - Style Aligned

스타일이 비슷한 이미지를 만드는 것은 로고나 서적 일러스트레이션과 같은 창조적인 작업에서 매우 유용한 기법입니다. 이 글은 스테이블 디퓨전에서 이러한 이미지를 생성하는 방법을 설명합니다.아래는 이 글에서 기술하는 기법을 사용하여 생성된 일관성있는 로고의 예입니다.또다른 예로서 아래와 같은 이미지를 생성할 수도 있습니다.이 글에서는 다음과 같은 내용을 다룹니다.Style Aligned 를 사용한 일관성있는 스타일(AUTOMATIC1111 및 ComfyUI)ControlNet Reference를 이용한 일관성있는 스타일(AUTOMATIC1111)AUTOMATIC1111과 ComfyUI의 구현상 차이점AUTOMATIC1111과 ComfyUI에서 사용하는 방법소프트웨어스타일 전송의 원리AUTOMATIC1111 ..

SAG - 이미지 배경 살리기

SAG(Self-attention Guidance, 자기 주의 안내)는 전체적인 두고를 보존하면서 이미지의 디테일을 향상시킵니다. 따라서 이미지가 생성하는 무의미한 디테일을 수정하는데 유용합니다.아래의 예에서는 신사분이 매고 있는 보우타이를 수정하고, 배경에 있는 기타 디테일을 수정하였습니다.원 이미지SAG 적용소프트웨어SAG의 원리ComfyUI다른 예제소프트웨어이 글에서는 ComfyUI를 사용합니다. ComfyUI는 약간 복잡해 보이지만, AUTOMATIC1111보다 빠르면서도 워크플로를 마음대로 수정할 수 있어서 인기가 높아지고 있는 Web UI입니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. SAG의 원리SAG에 대한 상세한 내용은 홍수성 님 등이 ..

여러 각도에서 일관된 캐릭터 생성 방법

바라보는 방향이 달라져도 일관된 AI 캐릭터를 생성해야 하는 경우가 있으신가요? 이 글에서는 아래와 같이 동일한 캐릭터의 9x9 그리드를 그리는 방법을 설명합니다. 여러 이미지에 동일한 캐릭터가 필요한 아트웤에 사용할 수 있습니다.소프트웨어이 워크플로의 작동 원리AUTOMATIC1111ComfyUI문제 해결소프트웨어 이 글에서는 가장 널리 사용되고 있는 스테이블 디퓨전용 웹 UI인 AUTOMATIC1111과, 점점 사용자가 늘어나고 있는 ComfyUI 를 사용합니다.AUTOMATIC1111AUTOMATIC1111은 스테이블 디퓨전 모델의 웹 GUI 중에서 가장 대중적이고 널리 사용되고 있습니다. 설치 방법은 이 글은 보시고, 메뉴를 비롯한 기초적인 내용은 AUTOMATIC1111 가이드를 읽어보세요.Co..

AI 카툰 캐릭터 생성하기 - ComfyUI

이 글에서는 위와 같은 3d 캐릭터를 만드는 방법을 설명합니다. 위의 캐릭터는 제가 젊었던 시절의 사진을 아무거나 적당히 선택해서 생성한 것입니다 (원본보다 훨씬 낫습니다.ㅎㅎ)사용한 워크플로는 이전 글과 거의 동일하며, 약간 수정만 했습니다. 그래서 글도 상당부분 중복되는 점 참고하시기 바랍니다.소프트웨어따라하기다른 인물 테스트요약 및 느낌요약 및 느낌소프트웨어이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. 이 글에서는 IP-Adapter 중에서 FaceID Plus v2 모델을 사용합니다. FaceID 모델은 입력 이미지에서 얼굴을 추출하여 임베딩으로 변환한 뒤 IP..

LoRA는 필요없다 - ComfyUI IP-Adapter

스테이블 디퓨전에서 어떤 특정한 인물의 얼굴을 넣으려면 LoRA를 학습시키거나 또는 dreambooth 를 사용해 checkpoint모델을 학습 시켜야 합니다.하지만, 새로운 모델을 학습시키는 것은 매우 시간이 걸리는 일입니다. 그런데, 이렇게 학습시킬 필요 없이 어떤 얼굴을 즉시 삽입할 수 있다면 어떨까요?이 ComfyUI 워크플로는 입력 이미지로부터 어떤 인물의 얼굴을 복사합니다. 마치 맞춤형 LoRA나 체크포인트 모델처럼 사용할 수 있지만, 학습 시킬 필요는 없는 겁니다. 심지어는 매우 빠르고 편리합니다.참고: 이 글은 IPAdapter Unified Loader FaceID 노드를 사용하도록 갱신한 워크플로입니다.소프트웨어따라하기다른 인물 사용 실험김태리조인성송혜교테스트 결과 요약소프트웨어이 글에..

Stable Diffusion 3를 내 PC에서 돌리는 방법

얼마전, ComfyUI에서 API를 통해 SD3를 돌리는 방법을 올려드렸는데, 이 글에서는 자신의 컴퓨터에서 스테이블 디퓨전 3 미디엄(Stable Diffusion 3 medium)을 돌리는 방법에 대해 설명드립니다.소프트웨어시스템 요구사항ComfyUI에서 사용방법비교비교소프트웨어이 글에서는 ComfyUI를 사용하여 SD3 medium을 돌리는 방법을 사용합니다. ComfyUI는 매우 빠르게 사용자가 늘고 있는, 이제는 사실상 AUTOMATIC1111보다 더 많이 활용되는 것으로 예상되는 Stable Diffusion용 웹UI 입니다. ComfyUI를 설치하는 방법과 기초적인 사용법은 이 글을 읽어보시고, 좀 더 잘 활용하는 방법은 튜토리얼을 읽어보시기 바랍니다.시스템 요구사항SD3 미디엄 모델을 돌리..

Hyper-SD와 Hyper-SDXL 패스트 모델

Hyper-SD와 Hyper-SDXL은 1~8 단계만에 고품질의 이미지를 생성할 수 있다고 주장하는 농축형(distilled) 스테이블 디퓨전 모델입니다. 이글에서 다루는 내용은 다음과 같습니다.하이퍼 스테이블 디퓨전 모델의 작동원리LCM, Turbo, Lightning 등 다른 패스트 모델과의 차이AUTOMATIC1111 및 ComfyUI에서 사용하는 방법최적 이미지 설정다음은 목차입니다.소프트웨어하이퍼 스테이블 디퓨전 모델이란?ComfyUI에서 하이퍼 SDXL 사용방법하이퍼 SDXL 이미지 비교소프트웨어논문저자가 공개한  하이퍼-SD UNet과 LoRA모델을 사용하려면, ComfyUI를 사용할 필요가 있습니다. 다만, LoRA 모델은 어떠한 체크포인트 모델과도 호환됩니다.하이퍼-SD 방법론으로 학습된..

스테이블 디퓨전 샘플러: 완벽 가이드

AUTOMATIC1111과 ComfyUI에는 Euler, Heun, DDIM 등등 여러가지 샘플링 방법이 존재합니다. 이 글에서는 샘플러가 무엇인지, 작동 원리, 그리고 어떤 차이점이 있는지, 어떤 걸 사용하는 게 좋은지 등을 다룹니다.샘플링이란?샘플러(Sampler) 개요샘플러 평가이미지 수렴속도품질샘플링이란?이미지를 생성하기 위해서는 , 스테이블 디퓨전은 먼저 잠재 공간(latent space)에 완전히 무작위(random) 이미지를 생성합니다. 잡음 예측기(noise predictor)는 이미지로부터 잡음을 예측하고, 원래의 잡음 이미지에서 그 만큼의 예측된 잡음을 제거해줍니다.이 프로세스를 여러번 반복하면 최종적으로 깨끗한 이미지를 얻을 수 있습니다.이와 같은 잡음 제거(denoising) 프로세..