• ベースモデル：cl-tohoku/bert-base-japanese-whole-word-masking
• データセット：llm-book/wrime-sentiment
• オプティマイザ: adafactor
• Optunaでハイパーパラメータ探索
  • 学習率スケジュールのタイプ(lr_scheduler_type): constant, linear, cosine
  • 学習率(learning rate): 1e-6 ~ 1e-4
  • バッチサイズ(per_device_train_batch_size): 16,32,64,128,256
  • 正則化(weight_decay): 1e-6 ~ 1e-1