Traditional Korean Painting Model

(Translated from English using DeepL)

불필요한 오해를 만드는 것 같아서 모델명 이름을 바꾸었습니다. 조선시대의 화가와 현대 한국화 작품, 그리고 수묵화 데이터를 가지고 미세조정했습니다.

I renamed the model because I felt it was creating unnecessary misunderstandings. I fine-tuned it with data from Joseon era painters, modern Korean paintings, and ink paintings.

하이퍼네트워크와 SD1.5 기반의 모델을 만들고 난 뒤 몇 달 지나지 않아 SDXL이란 모델이 나왔습니다. 그 당시 SD2.1 기반의 모델은 작업을 하지 않았습니다. 그 이유는 컨트롤넷을 사용하기 어려운 점과 명확하게 SD1.5 보다는 낫지 않았기 때문에 꺼려졌습니다. 프롬프트에 따른 변화는 명확하게 줄 수 있고, 알려진 피사체에 대한 재현은 좀 더 나아 보이지만 높아진 사양에 비해서는 명확한 이점은 없었습니다. 하지만 SDXL의 경우 컨트롤넷과 여러 가지 기능이 바로 지원될 것이라고 이야기와 지원되는 해상도에 대비해서 그렇게 많은 사양을 요구하지 않았기에 시도를 해보았습니다.

A few months after creating the hypernetwork and the SD1.5-based model, a model called SDXL came out. At that time, I didn't work on the SD2.1-based model because I was reluctant to use ControlNet and because it wasn't clearly better than SD1.5. You can definitely change things based on prompts, and the reproduction of known subjects looks a little bit better, but there was no clear advantage over the higher specs. But with SDXL, they said that ControlNet and a bunch of other things would be supported out of the box, and they didn't ask for that many specs for the supported resolutions, so I gave it a shot.

제작 과정에 대해서는 이 글을 참고해 주세요.

For more information on how it was created, see this article.

Used data

조선시대 화가 / Joseon Dynasty Painters

조선시대 화가의 그림은 수량이 적기 때문에, 그림을 조각내고 좌우 반전을 통해서 그림 장수를 늘렸습니다. 총 5684장.

Since the paintings of Joseon Dynasty painters are few in number, the paintings were fragmented and reversed to increase their longevity. 5684 paintings in total.

디지털 K-art 데이터 / Digital K-art data

11246장 중 6253장으로 줄였습니다. aihub에 있는 자료는 정말 엄청나게 많기 떄문에, 일단 그중 라벨링이 되어있는 데이터로 줄였습니다. 그렇게 11246장이 나왔으며 그 중 정사각형에 가까운 이미지를 골라서 내서 6253장이 나왔습니다.

So out of the 11,246 images, I narrowed it down to 6,253. There's a lot of data on AIHUB, so I just narrowed it down to the data that was labeled, and that gave me 11,246 images, and I picked out the ones that were close to a square, and that gave me 6,253 images.

한국 전통 수묵화 화풍별 제작 데이터 / Production data for traditional Korean ink paintings by style

5860장의 이미지를 정사각형으로 잘라낸 자료를 사용했습니다. 이 데이터도 엄청 많기 때문에 수량을 늘릴 수 있으나 조선시대 화가의 데이터와 비슷한 양으로 설정했습니다.

I used a baseline of 5860 images cropped into squares. This is a lot of data, so you can increase the quantity, but I set it to a similar amount to that of a Joseon painter.

사용 가이드 / User Guide (SDXL ver)

사용 팁 / Usage Tips

• 일반적으로 CFG scale이 높을수록 품질이 좋지 않습니다. 10 이상으로 설정하는 것은 추천하지 않습니다. 다만 짧은 단어는 영향을 거의 받지 않는 것으로 보입니다.

  • In general, the higher the CFG scale, the worse the quality. We don’t recommend setting it above 10. However, shorter words seem to be less affected.

• 긴 문장을 입력할수록 일반적인 사진으로 나올 가능성이 높습니다. 그렇다고 트리거 단어의 가중치를 늘린다고 하더라도 결과물이 더 나아지지 않습니다.

  • The longer sentences you type, the more likely you are to get a generic photo, and increasing the weight of the trigger word doesn’t make the result any better.

• 추천하는 CFG scale은 4-8 사이입니다.

  • The recommended CFG scale is between 4-8.

• 품질이 떨어지는 트리거 단어를 단독으로 사용하지 마세요.

  • Don’t use poor-quality Trigger Words in isolation.

• 트리거 단어 여러개를 동시에 사용해서 테스트를 하진 않았지만, 일반적으로 더 좋게 나올 것으로 추측됩니다.

  • I haven’t tested using multiple trigger words at the same time, but I’m guessing it will generally work better.

• 이미지가 사진처럼 나올 경우 'painting' 이나 'style'이란 프롬프트도 같이 사용하면 좀 더 나은 결과를 볼 수 있습니다. ex) kimhongdo painting

  • If your image comes out looking like a photo, you may see better results if you also use the "painting" or "style" prompts. ex) kimhongdo painting

• 아직은 많이 사용하지 않아서 이후에 제시된 방법이 수정될 수 있습니다.

  • I haven't used it much yet, so the methods presented here may be modified in the future.

트리거 단어 리스트 / Trigger Words List

참고로 화가의 실제 그림체를 제대로 반영하지는 못합니다.

Note that this is not a true representation of the painter’s actual painting style.

• whtjs

  • 조선시대 화가의 평균적인 화풍을 구현합니다. / Emulates the average painting style of a Joseon era painter.

• kangsehwang

  • 가장 단순한 형태로 그려집니다. / It is drawn in its simplest form.

• kimhongdo

  • 가장 품질이 뛰어납니다. / The highest quality.

• sinyunbok

  • 두 번째로 품질이 뛰어납니다. / Second highest quality.

• simsajeong

  • 그림에서 여성의 얼굴이 나올 확률이 높습니다. / A woman’s face is more likely to be in the image.

• anjungsik

  • 가장 품질이 좋지 않습니다. / The lowest quality.

• jangseungeop

  • 두 번째로 품질이 좋지 않습니다. / Second worst quality.

• heoryeon

  • 가장 색상이 적은 결과물이 나옵니다. / The result is the one with the least colour.

• gksrnr

  • 현대적인 형태를 만듭니다. 신체 오류가 자주납니다. / Creates modern shapes. Body errors are frequent.

• tnanr

  • 아래 세 가지 수묵화 기법의 평균적인 모습을 만듭니다. / Produces an average look of the three ink painting techniques below.

• baengmyo

  • whtjs의 결과와 유사하게 나올 때가 많습니다. / The results are often similar to those of ‘whtjs’

• gureuk

  • 얇은 경계가 있는 느낌으로 그림이 나옵니다. / The result is a picture with a thin border.

• molgol

  • 경계가 없는 결과물을 만들어 냅니다. / Produces results that have no boundaries.