안녕하세요. 이번시간에는 FLUX를 사용하는 방법에 대해서 알아보겠습니다.
FLUX는 huggingface나 freepik 등 AI 이미지 생성 사이트에서 사용할 수 있도록 추가되었지만 유료로 사용해야 되는 경우가 많죠.
ComfyUI에서는 따로 FLUX checkpoint 모델을 내놓았고 누구나 쉽게 무료로 사용할 수 있도록 공개 하였습니다.
현재 FLUX 모델은 크게 3가지로 구분이 되어 있는데요. pro, dev, schnell 이렇게 3가지 종류입니다.
pro 모델은 유료버전으로 제공을 하고 있고 dev와 schnell은 ComfyUI를 통해서 무료로 구동이 가능합니다.
목차
Black forest
black forest 그룹은 이미지와 비디오와 같은 미디어 응용 프로그램을 위한 최첨단 생성 AI 모델을 개발하는 스타트업 팁입니다. 이 회사는 Stable Diffusion, VQGAN, Latent Diffusion과 같은 기술을 개발한 저명한 AI 연구원들이 창립하였으며, 최신 생성 AI 기술의 발전에 중점을 두고 있습니다.
공식사이트: https://blackforestlabs.ai/
FLUX(pro) 사용해보기
앞서 설명드린것과 같이 FLUX 모델은 현재 유료로 제공하고 있지만 일정 기간 또는 일정 사용제한을 두고 무료로 몇번 사용해볼 수는 있습니다.
현재 FLUX(pro) 버전을 사용하기 위해서 2가지 방법이 제시되고 있지만 fal.ai 에서 깃허브(Github)계정만 있다면 누구나 사용해볼 수 있습니다.
fal.ai에서 FLUX 사용해보기 : https://fal.ai/models/fal-ai/flux-pro
fal.ai에서 설명하는 요금으로는 1메가픽셀당 0.05달러로 이미지20장을 생성하는데 1달러 정도 든다는 의미입니다.
replicate에서 FLUX pro 유료로 사용하기 : https://replicate.com/black-forest-labs/flux-pro
replicate 역시 요금은 비슷한것을 알 수 있습니다.
ComfyUI를 이용해서 무료로 사용하기
pro 모델이 아닌 dev모델과 schnell 모델은 comfyui를 이용해서 무료로 사용이 가능합니다.
comfyui 설치하기
stabiliy matrix를 이용해서 comfyui를 원클릭으로 설치가 가능합니다. 위 영상에서는 stable diffusion을 설치했지만 add package버튼을 눌러서 comfy ui를 설치하시면 됩니다.
stability matrix 다운로드 바로가기: https://lykos.ai/
FLUX 모델 다운로드
comfyui 설치후 아래 huggingface에서 (dev, schnell) 모델을 다운로드 받아줍니다.
FLUX(dev 16bit) 다운로드 바로가기 : https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main
FLUX(schnell 16bit) 모델 다운로드 : https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/main
용량이 낮은 FLUX (8bit) 모델(dev, schnell) 다운로드 : https://huggingface.co/Kijai/flux-fp8/tree/main
위 모델을 다운로드 받고 StabilityMatrix-win-x64 2\Data\Packages\ComfyUI\models\unet 이 경로에 넣습니다.
VAE 다운로드
그다음 vae를 받아주셔야 합니다. vae를 다운로드 받을때는 다운로드가 실패했다고 뜨게 되는데 huggingface 로그인이 필요하고 상단에 동의 버튼을 눌러야 다운로드가 제대로 되니 이점 꼭 확인하시길 바랍니다.
VAE 다운로드 바로가기 : https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main/vae
다운로드 받은 파일을 StabilityMatrix-win-x64 2\Data\Packages\ComfyUI\models\vae 이 경로에 넣습니다.
text_encoders 다운로드
그 다음 text_encoder를 받아주셔야 합니다.
text_encoders 다운로드 바로가기 : https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
다운받아야 하는 파일은 t5xxl_fp16.safetensors 이것과 clip_l.safetensors 이것 2가지 입니다.
다운로드 받은 파일을 StabilityMatrix-win-x64 2\Data\Packages\ComfyUI\models\clip 이 경로에 넣습니다.
FLUX checkpoint용 모델 다운로드
위에서는 unet, clip, vae에 파일을 각각 받아서 넣어줬지만 이 버전은 checkpoint폴더에 하나만 넣어주면 동작을 합니다.
checkpoint dev 모델 (8bit) 다운로드: https://huggingface.co/Comfy-Org/flux1-dev/blob/main/flux1-dev-fp8.safetensors
checkpoint schnell 모델 (8bit) 다운로드 : https://huggingface.co/Comfy-Org/flux1-schnell/blob/main/flux1-schnell-fp8.safetensors
다운로드 받은 파일을 StabilityMatrix-win-x64 2\Data\Packages\ComfyUI\models\checkpoints 이 경로에 넣습니다.
workflow 다운로드 사이트
위에서 모델을 모두 넣어주셨다면 이제 이미지를 만들어봐야겠죠.
FLUX 전용 workflow를 제공하고 있는 사이트를 들어가줍니다.
▶ workflow 사이트 바로가기 : https://comfyanonymous.github.io/ComfyUI_examples/flux/
위 사이트에 접속하면 위 이미지가 나오는데요 해당 이미지를 comfyui 화면에 드레그 해줍니다.
그럼 workflow가 자동으로 만들어지게 됩니다.
comfyui flux 설정
dev
dev 모델을 기준으로 알아보면 unet_name 항목에는 다운로드 받아서 넣어줬던 flux dev 모델을 선택해줍니다.
아래 dualcliploaer 역시 다운로드 받아서 넣어준 2개의 파일을 선택해줍니다.
아래 load vae 역시 다운로드 받아서 넣어준 파일을 선택해줍니다.
dev모델은 fluxGuidance 가 있는데요 일종의 cfg라고 보시면 됩니다. cfg 값이 올라갈수록 프롬프트를 더 많이 반영하려고 하고 값이 작아질수록 창의적으로 이미지를 생성하게 됩니다.
이곳에서 이미지의 가로, 세로 크기를 변경할 수 있습니다.
schnell 모델
schnell 모델에서는 steps를 4로 적게 설정해줘야 합니다.
schnell 모델의 경우 stops가 적어도 이미지가 잘 만들어지기 때문에 문제는 없습니다.
CFG는 자동으로 1로 고정되어 있지만 따로 보여지진 않습니다.
이제 프롬프트에 생성할 이미지 설명을 넣어주고 오른쪽에 queue prompt 버튼을 눌러주면 이미지가 생성됩니다.