Description: 한국어 수학교육 텍스트로 학습한 토크나이저

• 학습 데이터 저작권: 두산동아, 미래엔, 비상에듀, 지학사, 한국교육과정평가원
• 모델 체크포인트: skt/kogpt2-base-v2
• 개인 연구 목적으로 사용, 개발중인 토크나이저입니다. 학습 데이터 저작권이 저에게 있지 않으므로, 무단 사용을 자제해주세요.

What to do

• 수학교육 분야의 여러 tasks에서 사용가능한 언어 모델을 개발중입니다.

How to use

>>> from transformers import AutoTokenizer
>>> old_tokenizer = AutoTokenizer.from_pretrained('skt/kogpt2-base-v2')
>>> tokenizer = AutoTokenizer.from_pretrained('jnsulee/ko_math_tokenizer')

example = "다항식의 덧셈은 동류항끼리 모아서 정리한다.이때 두 다항식의 차 A-B는 A에 B의 각 항의 부호를 바꾼 -B를 더한 것과 같다. 즉, A-B=A+(-B)이다."
old_tokenizer.tokenize(example)
#['▁다', '항', '식의', '▁덧', '셈', '은', '▁동', '류', '항', '끼리', '▁모아서', '▁정리한', '다.', '이', '때', '▁두', '▁다', '항', '식의', '▁차', '▁A', '-B', '는', '▁A', '에', '▁B', '의', '▁각', '▁항의', '▁부', '호를', '▁바꾼', '▁-', 'B', '를', '▁더한', '▁것과', '▁같다.', '▁\n', '즉', ',', '▁A', '-B', '=', 'A', '+', '(', '-B', ')이다.']
tokenizer.tokenize(example)
#['▁다항식', '의', '▁덧셈', '은', '▁동류항', '끼리', '▁모아서', '▁정리', '한다', '.', '이', '때', '▁두', '▁다항식', '의', '▁차', '▁A', '-', 'B', '는', '▁A', '에', '▁B', '의', '▁각', '▁항의', '▁부호', '를', '▁바꾼', '▁-', 'B', '를', '▁더한', '▁것', '과', '▁같', '다', '.', '▁\n즉', ',', '▁A', '-', 'B', '=', 'A', '+', '(', '-', 'B', ')', '이다', '.']