summarization bart longformer

<<20220904 Commit>>

개인 스터디용으로 긴 문장의 요약 모델 특화된 모델을 만들기 위해 KoBART 모델을 Longformer Encoder Decoder로 변환한 모델입니다. 기존의 transformers를 라이브러리로 불러와서 모델을 실행하는 방법은 사용할 수는 없습니다.😂 같이 올려놓은 load_model.py를 라이브러리화하여 모델을 로드하시면 사용 가능합니다.

추후 지속적인 업데이트로 별도의 불편함 없이 사용할 수 있도록 바꾸겠습니다.

<pre><code>

Python Code

from transformers import PreTrainedTokenizerFas from load_model import LongformerBartForConditionalGeneration

tokenizer = PreTrainedTokenizerFast.from_pretrained("hohovisual/KoBART_with_LED") model = LongformerBartForConditionalGeneration.from_pretrained("hohovisual/KoBART_with_LED model file path") </pre></code>