740문장을 활용한 챗봇 만들기

환경설정

runpods에서 사용하기에 바로 requirements를 설치한다.

pip install -U -r -q requirements.txt

실험 데이터

./data
└── 740_dialog_polyglot-ko.csv

• 맥으로부터 slack으로 공유받은 데이터를 사용함
• 데이터가 1턴으로 구성되어 있으나, 살펴보면 1턴 대화가 3~8턴의 대화로 구성됨
• 이에, 하나씩 읽고 대화데이터로 포맷을 변경함

모델별 실험

• model : Polyglot-ko-1.3b 와 Polyglot-ko-5.8b를 사용하여 실험 진행함
• server : runpods A100 1장, 200G, 200G으로 세팅함
• learning time : 15분 내외
• repo link : https://git.datadriven.kr/ai/dialog-polyglot-ko-6b-a100-1x
• model link : https://huggingface.co/datadriven/740_dialog_polyglot-ko-5.8b__A100_1x