🧑🏻💻 KLUE RoBERTa Large
- 이 모델은 klue/roberta-large를 한국어 Machine Reading Comprehension를 위해 KorQuAD 데이터 2.1 version 27,423개의 데이터를 학습시켜 만든 모델입니다.
📝 What Should Know
- KorQuAD v2.1의 원본 데이터가 아닌 하이퍼링크, 태그, 유니코드 BOM를 제거하여 전처리를 하였고, context 길이가 7500이 넘어간 데이터들은 제외하여 27,423개의 데이터셋을 이용하여 학습시켰습니다.
- 원본 데이터 링크 : https://korquad.github.io/
📁 Getting Started
from transformers import AutoConfig, AutoModelForQuestionAnswering, AutoTokenizer
config = AutoConfig.from_pretrained('uomnf97/klue-roberta-finetuned-korquad-v2')
tokenizer = AutoTokenizer.from_pretrained('uomnf97/klue-roberta-finetuned-korquad-v2')
model = AutoModelForQuestionAnswering.from_pretrained('uomnf97/klue-roberta-finetuned-korquad-v2',config=config)