2020/12/21時点のWikipediaを用いて事前学習した日本語RoBERTaです。
janome(MeCabのPythonラッパー)とBPEを使用してトークナイズしています。