AI 이미지/워크플로 따라하기

옛날 만화 스타일 변환하기

하늘이푸른오늘 2025. 5. 3. 20:00

이 워크플로는 이미지를 입력받아 아주 오래된 만화 스타일로 변환해주는 워크플로입니다. 이 워크플로는 SDXL (정말 오랜만이네요) 모델과 Hoko Manga Style LoRA사용합니다.

아래는 송혜교님 사진을 사용해 생성한 예입니다. 보시는 것처럼, 이 워크플로는 사용된 이미지의 고유한 특성은 거의 사라지고 만화 스타일만 나오는 한계가 있습니다. 또한 남자 사진을 넣어도 여자로 생성됩니다. ㅎㅎ

소프트웨어

이 글에서는 스테이블 디퓨전용 GUI중에서도 제일 강력하며, 현재 거의 대세로 자리잡고 있는 ComfyUI를 사용합니다. ComfyUI가 처음이시라면, 설치 및 기본 사용방법 및 초보가이드를 확인하시기 바랍니다.

워크플로 작동 원리

이 워크플로 전반부는 여러가지 모델을 불러들여오는 기본적인 부분과, [CR SDXL Aspect Ratio] 노드를 사용해 이미지 크기를 지정하는 부분, 그리고 프롬프트를 입력하는 구성됩니다. 아주 기본적인 내용이기 때문에 따로 설명드릴 필요도 없네요.

이 워크플로 후반부는 Depth ControlNet을 사용하여 이미지 아웃라인을 추출한 후, 샘플링을 통해 이미지를 생성하는 부분입니다.

전체적으로 아주 간단한 워크플로라서 제 5070ti에서 샘플링 시간만 8초 정도 소요됩니다. 요즘 Flux나 HiDream 같은 경우 시간이 2분까지 걸리는데, 엄청 빨리 생성되니 기분이 좋네요. ㅎㅎ

따라하기

1 단계: 모델 다운로드

SDXL 모델

이 워크플로에서는 Animagine XL V3.1 체크포인트 모델을 사용합니다. 이 파일을 다운로드 받은 후, ComfyUI\models\checkpoints 폴더에 넣어줍니다. 사실 이 워크플로에서 체크포인트는 그다지 영향을 미치지 않으니 다른 모델을 사용해도 무방합니다. 

LoRA 모델

이 워크플로에서는 SDXL Hoko Manga Style LoRA 모델을 사용합니다. 다운로드 받아 ComfyUI\models\loras 폴더에 넣어주시면 됩니다.

ControlNet 모델

이 워크플로에서는 SDXL용 Depth 콘트롤넷 모델인 diffusers_xl_depth_full.safetensors을 사용합니다. 다운로드 받은 후, ComfyUI\models\controlnet 폴더에 넣어줍니다.

2 단계: 워크플로 불러오기

아래의 Json 파일을 다운로드 받아 ComfyUI로 불러옵니다.

Photos-to-manga-style.json
0.01MB

이 워크플로를 불러오면 오류가 발생할 수 있습니다. 그러한 경우, 다음과 같은 작업이 필요합니다.

3 단계: 이미지 불러오기

아래와 같이 [Load Image] 노드에 원하는 이미지를 불러옵니다. 이 워크플로에서 사용하는  SDXL Hoko Manga Style LoRA 모델은 여성 1인 용이기 때문에 여성이 포함된 이미지를 사용하는 것이 좋습니다. 필요하시면 아래 파일을 사용하셔도 됩니다.

images.jpg
0.02MB

4 단계: 프롬프트 검토

이 워크플로에서는 이미지 생성에 필요한 프롬프트입니다. "A black and white manga of Hoko, 1girl, solo, retro manga style, detailed line art, high contrast shading, simple background" 까지는 모두 LoRA 에서 추천하는 프롬프트입니다. 

5 단계: 기타 설정 검토

아래의 설정은 대부분 SDXL Hoko Manga Style LoRA 모델에서 추천해준 내용에 따라 설정된 값입니다.

  • ControlNet Strenth : 0.8
  • 샘플링 단계 : 25
  • CFG : 0.7
  • 샘플러 : DPM++ 2m Karras

6 단계: 이미지 생성

이제 [Run] 버튼을 누르면 이미지가 생성됩니다. 생성된 이미지는 위쪽에 있는 [Image Compare(rgthree)]노드를 사용해 비교해 볼 수도 있습니다.

참고로 아래의 예에서 보는 것처럼 남자 사진을 넣어도 여자 얼굴로 생성됩니다. 이것은 사용한 LoRA 에서 여자 만 지원하기 때문입니다. ㅎㅎ

이상입니다.

민, 푸른하늘