GPT2 Japanese base model version 2

Prerequisites

transformers==4.19.2

Model architecture

This model uses GPT2 base setttings except vocabulary size.

Tokenizer

Using BPE tokenizer with vocabulary size 60,000.

Training Data

• wiki40b/ja (Japanese Wikipedia)
• Subset of CC-100/ja : Monolingual Datasets from Web Crawl Data

Usage

from transformers import pipeline
generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese-v2')
generator("今度の連休の天気は", max_length=50, num_return_sequences=5)

(Japanese description) GPT2 日本語 ベースモデル・バージョン 2

前提条件

transformers==4.19.2

モデル・アーキテクチャ

このモデルは GPT2 ベースモデルの設定を (語彙サイズ以外は) 使用しています。

トークナイザー

語彙サイズ 60,000 の BPE トークナイザーを使用しています。

訓練データ

• wiki40b/ja (日本語 Wikipedia)
• CC-100/ja のサブセット : Web クロールデータからの単一言語データセット。

使用方法

from transformers import pipeline
generator = pipeline('text-generation', model='ClassCat/gpt2-base-japanese-v2')
generator("今度の連休の天気は", max_length=50, num_return_sequences=5)