studio-ousia/luke-japanese-baseに対して次の変更を加えたモデルです。

• ベースのモデルをRoBERTaから日本語BERTに切り替え、それに伴ってトークナイザがSentencepieceからWordPieceになりました
• 2023年7月1日時点の日本語Wikipediaのデータで事前学習をおこないました
• [UNK] (unknown) エンティティを扱えるようにしました

詳細はブログ記事をご参照ください。