전체 글 1739

InstantID를 사용한 얼굴 교체 방법

얼마전에 LoRA는 필요없다 - ComfyUI IP-Adapter라는 글에서, 별도로 학습한 체크포인트나 LoRA 모델 없이 어떤 사람의 얼굴을 복제하는 방법을 알려드렸습니다. 이 글도 비슷한 내용입니다. 다만, InstantID라는 기법을 이용한 것만 다릅니다. 아래는 InstantID를 사용해 얼굴을 복제한 예입니다. 뭔가 나사가 빠진 듯 하네요. 다른 예를 봐도 아시겠지만, 이 기법은 (적어도 제가 테스트해 본 바로는) 복제한 얼굴이 닮은 정도를 비율로 따지면 10~20% 정도가 아닐까... 싶은 정도입니다. InstantID 란 InstantID 대신 사용할 수 있는 것 AUTOMATIC1111 사전 준비 콘트롤넷(ControlNet) 확장 설치 InstantID 모델 설치 AUTOMATIC111..

AnimateDiff Wiki

요즘 Stable Diffusion 커뮤니티의 핫한 주제는 Video-to-Video입니다. 그 가운데에는 AnimateDiff 가 있죠. 저도 몇번 생성해봤지만, 아직도 잘 모르는 게 많아, 천천히 알아보려는 중입니다. 이 글은 AnimateDiff for AUTOMATIC1111에 이어 네번째 글로, https://wikiwiki.jp/sd_toshiaki/AnimateDiff 를 번역한 글입니다. AnimateDiff 개요 모션 모듈이란? a1111 사용방법 매개변수 체크포인트 및 LoRA 특성 프롬프트 작성방법 콘트롤넷 AI 확대기(UpScaler) ComfyUI에서 사용방법 프롬프트 트래블 없는 워크플로 프롬프트 트래블을 사용하는 워크플로 AnimateDiff 개요 GIF 등의 짧은 동영상(표준..

AnimateDiff Official Repo

요즘 Stable Diffusion 커뮤니티의 핫한 주제는 Video-to-Video입니다. 그 가운데에는 AnimateDiff 가 있죠. 저도 몇번 생성해봤지만, 아직도 잘 모르는 게 많아, 천천히 알아보려는 중입니다. 이 글은 그중에서 세번째 시도로, https://github.com/guoyww/AnimateDiff/ 을 번역한 글입니다. === 이 저장소는 Yuwei Guo 등의 논문, AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning 의 공식 구현입니다. AnimateDiff는 추가적인 학습이 없이도, 거의 모든 커뮤니티 모델을 애니메이션 생성기로 바꿔주는 plug&play 모듈..

AnimateDiff for ComfyUI

요즘 Stable Diffusion 커뮤니티의 핫한 주제는 Video-to-Video입니다. 그 가운데에는 AnimateDiff 가 있죠. 저도 몇번 생성해봤지만, 아직도 잘 모르는 게 많아, 천천히 알아보려는 중입니다. 이 글은 AnimateDiff for AUTOMATIC1111에 이어 두번째 글로 https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved 를 번역한 글입니다. 개요 모델 설정 기능 향후 추가 예정 기능 기본 사용법 및 노드 [AnimateDiff Loader ① ] Gen1 과 Gen2의 비교 Multival 노드 AnimateDiff Keyframe Context Options와 View Options [Sample Settings] ..

AnimateDiff for AUTOMATIC1111

요즘 Stable Diffusion 커뮤니티의 핫한 주제는 Video-to-Video입니다. 그 가운데에는 AnimateDiff 가 있죠. 저도 몇번 생성해봤지만, 아직도 잘 모르는 게 많아, 천천히 알아보려는 중입니다. 이 글은 그중에서 첫 시도로, https://github.com/continue-revolution/sd-webui-animatediff 을 번역한 글입니다. === 이 확장은 AnimateDiff와 CLI(프롬프트 트래블)를 AUTOMATIC1111 Stable Diffusion WebUI 와 ControlNet에 통합하는 것이 목표이다. 이 확장을 사용하면, txt2img로 이미지를 생성하는 것과 똑같은 방식으로 GIF를 생성할 수 있다. 이 확장은 AnimateDiff를 다른 방식..

ComfyUI 투토리얼 3

ComfyUI는 다재다능한 오픈소스 이미지 생성형 AI인 스테이블 디퓨전을 위한 GUI중 하나입니다. 원래는 AUTOMATIC1111이 훨씬 더 많이 사용되었지만, 여러가지 워크플로를 쉽게 생성하고 변경할 수 있어서 사용자가 급격하게 늘어나는 중입니다. 다만, ComfyUI는 스테이블 디퓨전의 기술적인 내용과 많은 관련이 있어서 사용하기가 쉽지 않습니다. 요즘 들어 ComfyUI 에 관한 글이 더 많아졌는데, 사용법이 잘 정리된 문서가 없어서 고민하던 중이었는데, 이 투토리얼은 아주 기초적인 내용부터 고급 사용법까지 아우르는 여러가지 내용을 담고 있습니다. 처음부터 따라해보면 ComfyUI를 좀 더 확실하게 이해하실 수 있게 될 것입니다. 이 투토리얼은 Open.ai 의ComfyUI Academy에 올려..

ComfyUI 투토리얼 -2

ComfyUI는 다재다능한 오픈소스 이미지 생성형 AI인 스테이블 디퓨전을 위한 GUI중 하나입니다. 원래는 AUTOMATIC1111이 훨씬 더 많이 사용되었지만, 여러가지 워크플로를 쉽게 생성하고 변경할 수 있어서 사용자가 급격하게 늘어나는 중입니다. 다만, ComfyUI는 스테이블 디퓨전의 기술적인 내용과 많은 관련이 있어서 사용하기가 쉽지 않습니다. 요즘 들어 ComfyUI 에 관한 글이 더 많아졌는데, 사용법이 잘 정리된 문서가 없어서 고민하던 중이었는데, 이 투토리얼은 아주 기초적인 내용부터 고급 사용법까지 아우르는 여러가지 내용을 담고 있습니다. 처음부터 따라해보면 ComfyUI를 좀 더 확실하게 이해하실 수 있게 될 것입니다. 이 투토리얼은 Open.ai 의 ComfyUI Academy 에 ..

ComfyUI 투토리얼-1

ComfyUI는 다재다능한 오픈소스 이미지 생성형 AI인 스테이블 디퓨전을 위한 GUI중 하나입니다. 원래는 AUTOMATIC1111이 훨씬 더 많이 사용되었지만, 여러가지 워크플로를 쉽게 생성하고 변경할 수 있어서 사용자가 급격하게 늘어나는 중입니다. 다만, ComfyUI는 스테이블 디퓨전의 기술적인 내용과 많은 관련이 있어서 사용하기가 쉽지 않습니다. 요즘 들어 ComfyUI 에 관한 글이 더 많아졌는데, 사용법이 잘 정리된 문서가 없어서 고민하던 중이었는데, 이 투토리얼은 아주 기초적인 내용부터 고급 사용법까지 아우르는 여러가지 내용을 담고 있습니다. 처음부터 따라해보면 ComfyUI를 좀 더 확실하게 이해하실 수 있게 될 것입니다. 이 투토리얼은 Open.ai 의 ComfyUI Academy 에 ..

AI 카툰 캐릭터 생성하기 - ComfyUI

이 글에서는 위와 같은 3d 캐릭터를 만드는 방법을 설명합니다. 위의 캐릭터는 제가 젊었던 시절의 사진을 아무거나 적당히 선택해서 생성한 것입니다 (원본보다 훨씬 낫습니다.ㅎㅎ) 사용한 워크플로는 이전 글과 거의 동일하며, 약간 수정만 했습니다. 그래서 글도 상당부분 중복되는 점 참고하시기 바랍니다. 소프트웨어 따라하기 다른 인물 테스트 요약 및 느낌 요약 및 느낌 소프트웨어 이 글에서는 스테이블 디퓨전용 GUI중에서도 제가 제일 좋아하는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다. 이 글에서는 IP-Adapter 중에서 FaceID Plus v2 모델을 사용합니다. FaceID 모델은 입력 이미지에서 얼굴을 추출하여 임베딩으로 ..

LoRA는 필요없다 - ComfyUI IP-Adapter

스테이블 디퓨전에서 어떤 특정한 인물의 얼굴을 넣으려면 LoRA를 학습시키거나 또는 dreambooth 를 사용해 checkpoint모델을 학습 시켜야 합니다.하지만, 새로운 모델을 학습시키는 것은 매우 시간이 걸리는 일입니다. 그런데, 이렇게 학습시킬 필요 없이 어떤 얼굴을 즉시 삽입할 수 있다면 어떨까요? 이 ComfyUI 워크플로는 입력 이미지로부터 어떤 인물의 얼굴을 복사합니다. 마치 맞춤형 LoRA나 체크포인트 모델처럼 사용할 수 있지만, 학습 시킬 필요는 없는 겁니다. 심지어는 매우 빠르고 편리합니다. 소프트웨어 따라하기 다른 인물 사용 실험 김태리 조인성 송혜교 테스트 결과 요약 소프트웨어 이 글에서는 스테이블 디퓨전용 GUI중에서도 빠르면서도 유연하여 사용자 저변을 급속히 확대하고 있는 C..

다중 모니터 위한 바탕화면 슬라이드쇼 설정 - John's Switcher

얼마전 스테이블 디퓨전을 사용해 판타지 바탕화면 월 페이퍼를 생성하는 방법을 알려드렸습니다. 3가지 스타일(중세/이집트/중국), 4가지 장소(마을/도시/궁전/성),4가지 계절(봄/여름/가을/겨울), 7가지 색깔 등을 조합해서 거의 무한정의 판타지 스타일의 바탕화면을 만들어주는 ComfyUI 워크플로입니다. 그런데, 한가지 아쉬운 점이 있었습니다. 요즘 모니터 가격도 싸졌고 그래픽 카드도 좋아져서 왠만하면 멀티 모니터를 사용할 수 있는데, 바탕화면 슬라이드 쇼 설정이 다중 모니터를 지원하지 않기 때문입니다. 즉, 윈도11 기본 바탕화면 설정만으로는 모든 바탕화면을 매번 동일하게 바꾸거나, 모니터별로 다른 바탕화면 이미지를 지정하는 방법이 불가능합니다. 저의 경우엔 모니터를 2개 사용하는데, 한쪽은 고정되어..

사진 2024.02.06

IP-Adapter: 너무 많아서 정리한다

IP-adapter(Image Prompt adapter)는 이미지를 프롬프트로 사용할 수 있는 스테이블 디퓨전 애드온입니다. IP-adapter를 사용하면 참조 이미지로부터 스타일, 구도, 얼굴을 복사할 수 있습니다. 이 글에서는 IP-adapter의 여러가지 모델(Plus, Face ID, Face ID v2, Face ID portrait 등)과 이들 IP Adapter를 AUTOMATIC1111과 ComfyUI에서 사용하는 방법을 알아봅니다. 아래는 목차입니다. IP-adapter 모델 원래의 IP-adapter IP-adapter Plus IP-adapter Plus Face IP-adapter SDXL IP-adapter Plus SDXL IP-adapter Plus Face SDXL IP-a..

ChatGPT4에서 DALL-E 3 사용해 보기

얼마전에 마이크로소프트 CoPilot에서 DALL-E 3 를 사용해본 글을 올렸습니다. DALL-E 3 는 특히 프롬프트를 이해하고 따르는 능력이 매우 좋다는 장점이 있고, 이미지를 수정하는 기능이 없고 크기를 변경할 수 없다는 점이 단점이 있다고 말씀드렸습니다. 하지만 Copilot에서는 무료로 사용할 수 있는 장점이 있죠. 이번에는 유료(한달에 20달러)인 ChatGPT 4에서 DALL-E 3를 테스트해보겠습니다. 제가 하는 일 때문에 한달간 유료 결재를 했거든요. 사실 ChatGPT 4를 계속 사용한다면야 한달 20달러가 그다지 비싸다고는 생각하지 않습니다. 하지만 개인적으로 사용하는 입장에서는 그냥 아깝죠. 테스트 방법은 예전 글에서 사용한 프롬프트를 재활용해서 비교하는 방식입니다. 그런데 제목 ..

스테이블 디퓨전 - 부정적 프롬프트

스테이블 디퓨전을 사용해 인공지능 이미지를 생성할 때, 부정적 프롬프트를 사용하면 원하는 이미지를 얻을 확률을 높여줍니다. 사실은 부정적 프롬프트만으로도 이미지를 생성할 수 있습니다. 참고: 이 글은 부정적 프롬프트의 두가지 종류 중 하나입니다. 다른 하나는 부정적 이미지 프롬프트를 읽어보시기 바랍니다. 간단한 예 부정적 프롬프트의 원리 부정적 프롬프트가 없는 샘플링 부정적 프롬프트가 있는 샘플링 샘플링 공간(Sampling Space) 요약 간단한 예 긍정적 프롬프트만 사용할 경우 남자 이미지를 몇장 생성해 보겠습니다. 여기에서는 Stable Diffusion v1.5 모델을 사용합니다(사실 SDXL 쪽이 이미지 품질이 더 좋지만, 좀 성능이 떨어지는 모델로 생성해야 이 글의 목적을 달성할 수 있기 때..

Stable Diffusion 무분류기 안내(CFG) 척도란

무분류기 안내(CFG, Classifier Free Guidance) 척도(scale)은 스테이블 디퓨전 잡음 제거 샘플링 과정에서 프롬프트를 얼마나 잘 따를 것인지를 제어합니다. 이 값은 거의 모든 Stable Diffusion 기반의 인공지능 이미지 생성기에서 사용할 수 있습니다. 이제까지 제가 올린 글에는 CFG를 언급한 글이 매우 많은데, 이 글에서는 Stable Diffusion에서 CFG 척도가 무엇인지 좀 더 자세히 알아보겠습니다. CFG 척도가 하는 일 LCM과 turbo 모델의 CFG 척도 무분류기 안내란? 분류기 안내 무분류기 안내 무분류기 안내 척도 무분류기 안내의 학습 가장 좋은 CFG 척도는? CFG와 샘플링 단계의 관계 CFG를 납치하여 부정적 프롬프트 활성화 CFG 척도가 하는..