Stable Diffusion과 ComfyUI로 웹툰 그리기 (1)

안녕하세요. 오늘은 ComfyUI와 와콤 태블릿을 이용해 실시간으로 이미지를 생성하는법을 알려드릴게요.

오늘 튜토리얼을 따라하면 태블릿으로 그림을 조금씩 그림에따라 바로바로 이미지가 생성되도록 할 수 있습니다.

ComfyUI 설치

ComfyUI는 요즘 이미지 생성 관련해서 가장 주목을 받고있는 프로그램중 하나입니다.

사용법이 조금 어렵지만 금방 배울수 있습니다! 우선 설치부터 해봅시다.

https://github.com/comfyanonymous/ComfyUI#installing

GitHub - comfyanonymous/ComfyUI: The most powerful and modular stable diffusion GUI with a graph/nodes interface.

우선 위 주소로 들어가서 "Direct Link to Download"를 클릭하세요.

ZIP 압축파일이 하나 받아질텐데 원하는 경로에 압축을 풀어주세요.

이러면 설치 끝입니다!

폴더를 열고 PC 사양에 따라 알맞는 실행파일을 실행합니다.

NVIDIA GPU가 있는경우: run_nvidia_gpu.bat, 없는경우: run_cpu.bat

이런 창이 뜰 수 있는데, ComfyUI는 안전한 프로그램이니 안심하고 추가정보 -> 실행을 누릅니다.

실행해서 이런 화면이 뜨면 성공입니다!

모델 받기

ComfyUI로 웹툰을 그리려면 두가지 모델 파일이 필요합니다

 

Stable Diffusion 체크포인트 파일

https://civitai.com/models/66/anything-v3

Anything V3 - fp16 | Stable Diffusion Checkpoint | Civitai

오늘은 웹툰을 그릴것이니 애니메 스타일의 그림을 잘 그리는 Anything 모델을 받아보겠습니다.

 

Scribble 컨트롤넷 파일

Scribble 컨트롤넷 모델은  Stable Diffusion 모델이 이미지를 생성할때 입력값으로 들어온 스케치 이미지를 참고해서 그리도록 하는 역할을 합니다.

https://huggingface.co/lllyasviel/ControlNet/blob/main/models/control_sd15_scribble.pth

위 링크에 들어가서 다운로드 받습니다.

모델 설치

두개의 모델 파일을 다운받았으면 아래 경로에 넣어줍니다(윈도우 기준)

체크포인트: ComfyUI_windows_portable\ComfyUI\models\checkpoints

컨트롤넷: ComfyUI_windows_portable\ComfyUI\models\controlnet

 

그림판 노드 설치

설치 마지막 단계입니다 좀만 더 힘내봅시다!

이미지 생성은 여러 단계를 거쳐서 이뤄집니다.

ComfyUI에서는 이 각 과정을 담당하는 블럭을 '노드'라고 표현합니다.

웹툰을 그리기 위해 그림판 노드를 설치합니다.

https://github.com/AlekPet/ComfyUI_Custom_Nodes_AlekPet/archive/refs/heads/master.zip

먼저 위 주소에서 그림판 노드 설치파일을 받고 압축을 풀어줍니다.

아래 경로에 압축을 푼 폴더를 통으로 넣어줍니다.

ComfyUI_windows_portable\ComfyUI\custom_nodes

이렇게 통째로 넣어주면 됩니다.

해보자!

새로 설치한 노드를 불러오기 위해 ComfyUI를 재시작 해주세요.

ComfyUI_00002_.zip

0.42MB

 

그 다음 위 압축파일을 받고 풀은다음 나오는 이미지를 ComfyUI 화면에 드래그앤 드랍 해주세요.

그러며 이렇게 뿅 제가 사용한 워크플로우가 로딩됩니다.

저는 이런 프롬프트를 사용했지만 본인이 그리고싶은 내용에 맞게 수정해주세요.

실시간 생성을 위해 Extra Options를 열고 Auto Queue를 켭니다.

그다음 Queue 프롬프트를 눌러주세요! 그럼 시작입니다.

 

실시간으로 슉슈슉 생성된 이미지가 업데이트 되는것을 볼 수있습니다.

저처럼 그림을 잘 그리지 못하는 사람도 Stable Diffusion 만 있으면 멋진 그림을 그릴 수 있습니다.

 

추후 다른 포스트를 통해 제가 제대로 웹툰을 그리는 과정을 연재해보겠습니다.

감사합니다!