한국 수묵화 모델 사용 가이드 sd1.5기반
Guide for Using Korean Sumukhwa Model based on SD1.5
이전에 제작했던 하이퍼넷트워크에 이어서 이번엔 파인튜닝 한 나온 모델을 공유합니다. 그리고 모델 사용 가이드로 남깁니다. 데이터는 공유마당에 있는 김홍도 그림 중 선별 한 자료와 Ai허브에 올라와 있는 한국화 데이터셋 입니다.
Continuing from the previous Hypernetworks, I am sharing the fine-tuned model and providing a guide for its usage. The data used for training includes selected materials from Kim Hong-do's paintings available on the Gongu Sharing Market and the Korean painting dataset on AI Hub.
모델에 사용된 자료 출처
Sources of the data used in the model:
- 공유마당 https://gongu.copyright.or.kr/gongu/search/search/list.do?viewType=&collection=gongu_wrt&kwd=%EA%B9%80%ED%99%8D%EB%8F%84&
- Ai허브 https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=71380
학습과정
Training Process
이미지를 768×768사이즈로 바꾼뒤, clip_interrogator를 통해 프롬프트를 만들었습니다. 이후 한국 수묵화 자료에 gksrnrghk라는 프롬프트를 붙이고, 김홍도 그림에는 rlaghdeh라는 프롬프트를 추가로 붙였습니다. 이 이미지를 다시 512×512사이즈로 바꾼 뒤 Stable Tuner를 이용해서 학습을 했습니다. 사용한 설정은 아래와 같습니다.
The images were resized to 768×768, and prompts were created using the clip_interrogator. The prompt "gksrnrghk" was added for Korean ink wash painting data, and an additional prompt "rlaghdeh" was added for Kim Hong-do's paintings. These images were then resized to 512×512, and training was performed using the Stable Tuner. The following settings were used
- pretrained model: runwayml/stable-diffusion-v1-5
- seed: 3434554
- resolution: 512
- train batch size: 24
- num train epochs: 60
- learning rate: 5e-6
원래 768 모델을 생각하고 제작했으나, 실행할 수 있는 환경이 제약이 크고 컨트롤넷을 사용할 수 없었기에 512모델 1.5버전으로 다시 작업을 했습니다.
Originally, I intended to create a 768 model, but due to constraints on the execution environment and the unavailability of the Controlnet, I had to work with the 512 model version 1.5.
자료가 이미 준비 되어있기 때문에 경우에 따라서는 (예산이라든지) 새롭게 학습 할 지도 모르겠습니다.
Since the data is already prepared, it may not be necessary to train again in some cases (e.g., budget constraints).
사용 가이드
Usage Guide
한국 수묵화 데이터는 6000장 정도 김홍도 그림은 1000장 정도 사용되었습니다. 그런 이유인지, 한국 수묵화 스타일로 하려면 CFG Scale를 2-7 사이로 김홍도 그림의 스타일로 하려면 4-12사이를 추천합니다. 두개의 스타일 모두 활용할 경우 중간 값으로 하는 것을 추천합니다. 스텝수에도 영향을 받기 때문에 적절한 값을 찾는 것이 중요합니다.
For Korean ink wash painting style, it is recommended to use CFG Scale between 2-7. For Kim Hong-do's painting style, a range of 4-12 is recommended. If you want to utilize both styles, it is recommended to use an intermediate value. The step count also affects the output, so finding an appropriate value is important.
작동을 잘 하지않지만 기법에 대한 프롬프트도 적용이 되어있으며 사용할 때는 아래 프롬프트를 사용하면 됩니다. (하지만 미묘한 차이만이 발생합니다.)
Although it does not perform well, the prompts for the techniques are applied, and when using it, you can use the following prompts. (However, only subtle differences may occur.) Translate it into English.
- 백묵법/Baekmukbeob: baegmyobeob
- 몰골법/molgolbeob: molgolbeob
- 구륵법/guleugbeob: guleugbeob
김홍도 그림을 강조하고 싶으면 rlaghdeh style, rlaghdeh painting이란 프롬프트를 같이 사용하면 좀더 강조가 됩니다.
If you want to emphasize Kim Hong-do's painting style, using the prompts "rlaghdeh style" and "rlaghdeh painting" together will enhance the emphasis.
샘플 이미지
Sample Images
txt2img의 샘플이미지 입니다.
Here is a sample image from txt2img
gksrnrghk, sky, tree Steps: 40, Sampler: DPM++ 2M SDE Karras, CFG scale: 2.0, Seed: 1271864954, Size: 768×512, Model hash: a710c70889, Model: gksrnrghk_15_512_60, Clip skip: 2, Script: X/Y/Z plot, X Type: Prompt S/R, X Values: “gksrnrghk,\”gksrnrghk, rlaghdeh\”,rlaghdeh “, Y Type: CFG Scale, Y Values: “2,3,4,5,7,9,12,15”, Version: v1.3.0
한국화의 경우 높은 CFG에서 흑백이 아닌 컬러가 나오기 시작합니다.
In the case of Korean ink wash painting, colors start to appear at higher CFG values instead of black and white.
