공간정보와 인터넷지도

Text-to-video는 말 그대로 단어로 쓰여진 설명을 사용해 비디오를 생성하는 매우 까다로운 작업입니다. 디퓨전 기반의 text-to-video 모델은 매우 빠른 속도로 발전하고 있습니다. 이 글에서는 자신의 PC에서 직접 사용할 수 있는 text-to-video 모델 중 가장 유명한 것중 하나인 AnimateDiff를 소개하고 그 작업과정을 보여드립니다. 참고: 2023년 9월 10일에 AnimateDiff v1.5_v2가 공개되어, 기존에 작성된 글을 수정합니다. 이 글에 있는 내용을 따라해보기 위해서는 먼저 AUTOMATIC1111을 설치하여야 합니다. AUTOMATIC1111은 Mac, 구글 Colab에서도 사용할 수 있지만, 저는 윈도 버전 설치방법만 설명하였으니 참고하세요. 1. Anim..

스테이블 디퓨전으로 이미지를 생성하는 경우, 대부분 AUTOMATIC1111 웹UI를 사용합니다. 하지만, ComfyUI 는 훨씬 미세하게 조정할 수 있고, 스테이블 디퓨전의 자료처리 과정을 잘 이해할 수 있다는 점에서 나름 쓸만한 대안입니다. 저는 현재 ComfyUI에 대해 잘 모르기도 하고, AUTOMATIC1111을 사용하는 것이 편한 경우가 많아서 두가지 모두를 사용하고 있습니다. ComfyUI가 여러가지 장점이 있지만, 사용하기 쉽지 않다는 단점이 있습니다. 기능이 어딘가 숨겨져 있을텐데, 매뉴얼도 마땅치 않고... 그래서 제가 사용하면서 알게된 팁 몇가지를 공유합니다. 물론 제가 까먹지 않기 위한 목적이 큽니다. 참고로 이 글에 있는 내용은 제가 알고 싶어서 찾아봤던 것들을 정리한 것입니다. ..

스테이블 디퓨전으로 이미지를 생성해보셨다면, 아마도 LoRA는 사용해 보셨을 겁니다. (LoRA 사용법은 이 글을 읽어보세요) 특히 SD 1.5에서는 LoRA 없이는 정상적인 이미지를 만들기 힘들 정도죠. 그런데 LyCORIS 모델은 사용해 보셨나요? 저도 한번도 접해볼 기회가 없었습니다. LyCORIS 모델이란 무엇인가? LyCORIS는 LoRA beYond Conventional methods, Other Rank adaptation Implementations for Stable Diffusion(스테이블 디퓨전을 위한, 일반적인 방법론을 넘어서는 LoRA, 또다른 계수 적용법(Rank adaptation) 구현) 의 약자입니다. (제가 번역하고도 무슨 뜻인지 모르겠네요 ㅠㅠ) LyCORIS는 Lo..

스테이블 디퓨전은 매우 강력한 AI 이미지 생성기입니다. 그런데, 스테이블 디퓨전은 사용자들이 개발하는 확장이 있어 더 많은 기능이 추가되고 더 편리하게 사용할 수 있습니다. 이 글에서는 스테이블 디퓨전의 대표 UI인 AUTOMATIC1111에서 사용할 수 있는 확장(extension)) 몇가지를 소개합니다. ControlNet 사용법 : https://www.internetmap.kr/entry/Stable-Diffusion-ControlNet1 URL : https://github.com/Mikubill/sd-webui-controlnet ControlNet 은 참조 이미지에 있는 이미지의 형태나 자세 색 등을 기반으로 (프롬프트에 입력된 내용을) 이미지로 생성하는, AUTOMATIC1111에서 가장..

Deforum은 스테이블 디퓨전을 사용해서 애니메이션 비디오를 생성하는 도구입니다. 프롬프트를 제공하고 카메라 이동 설정을 제공해주면 됩니다(물론 간단하지는 않습니다). 아래는 예입니다. 스테이블 디퓨전이 원래 이미지를 생성하기 위한 모델이니만큼 어느 정도 번쩍거림(프레임간 불일치)가 있는 것은 사실이지만, 놀라울만한 품질을 보여주네요. Deforum 이란? Deforum은 애니메이션을 제작하기 위한 오픈소스 무료 소프트웨어 입니다. deforum은 스테이블 디퓨전의 image-to-image 기능을 이용하여 여러 이미지를 생성한 다음 모두 붙여 비디오를 제작하는 방식입니다. 이때 이미지 프레임간 약간씩 변형되며, img2img 기능을 이용해 다음 프레임을 생성합니다. 프레임간 변화는 많지 않기 때문에 ..

인공지능을 이용해 아기들 동화책을 만들고 싶거나, 만화책을 만들고 싶다면, 비슷한 모습이 유지되는 것이 중요할 겁니다. 매 페이지마다 혹은 한칸 한칸 얼굴이나 복장이 달라진다면 집중도가 떨어질 수 밖에 없겠죠. 하지만, 기본적인 방법만으로 Stable Diffusion을 사용하면 모든 얼굴이 달라질 수 밖에 없습니다. 이 글에서는 이것을 방지할 수 있는 방법 두 가지를 소개시켜드립니다. 첫번째는 유명인(celebrity)의 이름을 프롬프트에 넣는 방법이고, 두번째는 Roop extension을 사용하는 방법입니다 소프트웨어 이 글의 내용을 따라하기 위해서는 먼저 스테이블 디퓨전용 AUTOMATIC1111 웹UI를 설치해야 합니다. 윈도에 설치하는 방법은 이 글을 참고하시기 바랍니다. 참고로 맥이나 구글 ..

스테이블 디퓨전을 사용하는 분들중 대부분은 AUTOMATIC1111 웹UI를 사용합니다. 그만큼 대중적이기도 하고 사용하기 쉽기 때문입니다. 하지만, 사용할 수 있는 방식이 정해져 있다보니 어떤 절차를 거쳐 이미지가 생성하는지 알기도 힘들고, 이 절차를 마음대로 수정하기도 쉽지 않습니다. ComfyUI는 이러한 AUTOMATIC1111의 단점을 극복할 수 있는 웹UI입니다. Stable Diffusion 모델의 워크플로를 좀 더 자세히 알 수 있고 세밀하게 조정할 수 있습니다. 대신 사용하기가 쉽지는 않죠. 이 글에서는 빈 ComfyUI 캔버스로부터 시작해서 SDXL 모델을 사용해서 이미지를 생성하기 까지 한 단계씩 워크플로를 만들어가는 과정을 설명합니다. 이를 통해 스테이블 디퓨전, ComfyUI 도구..

지금까지 저는 윈도11에서 AUTOMATIC1111 를 사용해서 스테이블 디퓨전을 사용해 왔습니다. 많은 사람이 사용하기도 하고, 사용하기도 편해서 그다지 불만없이, 잘 사용하고 있었습니다. 그런데 이번에 SDXL이 공개되면서 AUTOMATIC1111이 왠지 불안스러워졌습니다. 제 마음대로 잘 안되고, 자꾸 에러가 발생하고... 하여튼 여러가지로 마음에 안들어하던 중이었습니다. 그러던중 SDXL을 위한 LoRA 학습에 관한 비디오를 보게 되고, 이 비디오에서 ComfyUI를 사용하길래 한번 설치하고 테스트해봤습니다. 아직까지는 이 UI가 AUTOMATIC1111에 비해 무엇이 좋은지 나쁜지 확실히는 모릅니다. ComfyUI는 Stable Diffusion을 구성하는 여러 요소들을 노드(node)로 구성해..

이 글은 AUTOMATIC1111 이라는 스테이블 디퓨전 GUI를 사용하여 동물 이미지를 생성하는 방법을 다룹니다. AUTOMATIC1111 설치방법은 이 글을 읽어보시기 바랍니다. 멋진 동물 사진을 위한 프롬프트 선정 방법 좋은 이미지를 만들려면 가장 중요한 것 중 하나가 좋은 프롬프트입니다. 이미지의 종류 목표가 사실적인 사진 이미지이므로, 먼저 "photo" 키워드를 사용합니다. photo of 주제 그 다음에는 어떤 피사체를 그리고 싶은지를 선택합니다. 다음은 예시입니다. Lion (사자) Pack of wolf(늑대 무리) Red panda (레드 판다) Peacock (공작) teacup kitty(티컵 크기 고양이) 장면 장면은 배경과 주변 풍경을 제어 합니다. 프롬프트에는 연관 효과(키워드..

모델(model), 혹은 체크포인트(checkpoint) 파일은 일반적인 이미지 혹은 특정한 장르의 이미지를 생성하기 위한 목적으로 미리 학습된 스테이블 디퓨전 가중치(weight)입니다. 어떤 모델이 생성할 수 있는 이미지는 모델 학습에 사용된 이미지에 의해 결정됩니다. 고양이를 학습하지 않은 모델을 사용해서는 고양이를 생성할 수 없고, 고양이만 학습한 모델이라면 고양이 말고는 아무것도 생성하지 못합니다. 이 글에서는 모델이 무엇이고, 널리 사용되는 모델의 특성, 설치방법, 사용방법 등을 설명합니다. 설치하는 방법만 궁금하시다면 여기를 눌러보세요. 스테이블 디퓨전 기본 모델 스테이블 디퓨전 모델은 크게 2가지 종류가 있습니다. v1과 v2입니다. 기타 v1모델과 v2 모델은 기본 모델이고, 추가 학습을..