이번시간에는 Stable Diffusion Controlnet 타입별 설명과 사용법을 소개하는 시간입니다.
이전시간에 Controlnet openpose에 대해서 자세히 설명을 했었는데요. 해당 내용은 아래 내용을 참고하시길 바랍니다.
▶ Controlnet ip-adapter, XL모델 다운로드(링크)
▶ Controlnet t2iadapter 모델 다운로드 (링크)
목차
Openpose
▶ Controlnet openpose 사용법 모델 다운로드 정리 – 비밀번호( mass07 )
Tile
다음은 Controlnet tile 타입에 대해서 알아보겠습니다
존재하는 이미지를 바탕으로 비슷한 스타일 이미지로 다시 만들어주는 타입이라고 보시면 됩니다.
기존 이미지를 타일처럼 조각을 해서 프롬프트와 결합시켜 기존 이미지를 유하산 새로운 이미지로 만들어 줍니다.
위 이미지를 tile resample의 기준 이미지로 업로드하고 프롬프트에 적당하게 특징에 대해서 설명한다음 checkpoint 모델을 실사 모델로 선택해서 이미지를 생성하면 아래와 같은 실사 이미지가 생성됩니다.
tile resample의 경우 원본 이미지가 가진 컬러와 구성을 같이 따라갑니다.
canny나 depth에서는 색갈을 같이 따라가지 않기 때문에 이점은 tile과 큰 차이점이라고 할 수 있습니다.
특별한 가이드 없이 레퍼런스만 가지고도 이미지 생성이 가능합니다.
그리고 tile resample 기능으로 이런 그림도 가능합니다.
위 레퍼런스 이미지를 controlnet_tile에 넣고 프롬프트에 숲과 나무에 관련된 프롬프트를 넣으면 비슷한 이미지를 생성할 수 있습니다.
control Weight은 0.2~0.4 정도 사이까지 조절해주시면 됩니다. 이미지 편차가 크기 때문에 batch를 돌려서 원하는 비슷한 이미지가 나올때까지 돌려줍니다.
control weight 값을 올리면 위와 같은 이미지로도 뽑아주실 수 있습니다
Depth
기준 이미지의 깊이감을 반영해 줍니다.
기준 이미지의 깊이감을 인식해서 이미지를 생성해주는 방식입니다. 일반 canny나 lineart 같이 테두리나 라인을 잡는 타입보다 명암이나 그림자 표현이 들어가기 때문에 더욱 생동감 있고 입체적인 결과물이 나옵니다.
canny
기준 이미지의 테두리를 인식해서 이미지를 생성해줍니다.
IP-Adapter
패턴이나 재질이미지를 기준이미지로 합니다.
기준 이미지의 성향에 따라서 전체적인 분위기를 비슷하게 만들 수 있습니다.
문양이나 스타일을 반영해줍니다.
단독으로도 사용할 수 있지만 depth 같은 다른 controlnet과 같이 사용할 수 있습니다.
위의 depth를 통해서 사물의 라인을 잡아주고 아래 IP-Adapter를 통해서 문양이나 스타일을 생성해줍니다. ip-adapter 문양이 차만적용되고 건물에는 적용되지 않게 하려면 적용하고 싶은 부분만 칠해서 마스크 기능을 입혀주시면 됩니다.
T2I-Adapter
프롬프트를 넣지 않아도 되는 타입입니다.
color_grid
T2I-Adapter 타입에서 t2ia_color_grid로 선택하는 경우 기준 이미지에서 색부분을 추출해서 적용하는 기능입니다.
따라서 다른 checkpoint모델로 이미지를 생성하면 이미지를 반영해서 비슷한 색과 분위기로 생성합니다.
반면 아래 t2ia_sketch_pidi로 하면 스케치 테두리를 따서 적용해줍니다.
sketch
스케치를 적용해주는 기능으로 색상도 비슷하게 반영을 해주는 특징이 있습니다.
t2ia_style_clipvision
텍스쳐와 기준 이미지의 전반적인 느낌까지 비슷하게 적용해줍니다.
T2I-Adapter에서 t2ia_style_clipvision을 선택하고 모델은 t2iadapter_stye_sd14v1을 사용합니다.
img2img 에서 사용할 수 있는 모델로 아래 그림과 같이 골룸 이미지를 넣으면 분위기와 스타일을 최대한 비슷하게 생성해줍니다. img2img의 Denoising strength 값을 이용해서 조절할 수 있습니다.
Denoising strength 값은 0.5 내외로 하시면 되겠습니다.
revision
위에 있는 t2ia_style_clipvision과 똑같은 기능이라고 보시면 됩니다.
recolor
흑백이미지에 컬러를 복원시키는 모델입니다.
모델은 맨위 2번째 링크에서 다운받으실 수 있습니다.
아직까지는 모델이 완벽하지는 않기 때문에 색상 복원이 고화질로 완벽하게 되진 않습니다.
전처리 타입에는 recolor_luminance와 recolor_intensity가 있는데요. 빛나는 이미지의 경우 luminance로 하시면 되고 뿌옇고 흐린 경우 intensity로 해주시면 됩니다.(결과물 이미지의 밝기 차이가 있음)
loopback
loopback은 2D 이미지 스케치나 드로잉을 3D 입체 실사 이미지로 만들어주는 기능이라고 할 수 있습니다.
img2img에서 맨 하단 script에서 loopback을 선택해서 사용할 수 있습니다. final denoising strength 값을 올릴 수록 강하게 들어갑니다.
denoising strenghth curve에서 lazy는 img2img에서 넣어준 이미지를 강하게 잡아주겠다는 의미라고 보시면 됩니다.(원본 최대한 유지)