gpt2-medium gpt2

GPT-Neo 125M pre-trained on cleaned Dutch mC4 🇳🇱

A GPT-Neo small model (125M paramters) trained from scratch on Dutch, with perplexity 20.9 on cleaned Dutch mC4.

How To Use

You can use this GPT-Neo model directly with a pipeline for text generation.

MODEL_DIR='yhavinga/gpt-neo-125M-dutch'
from transformers import pipeline, GPT2Tokenizer, GPTNeoForCausalLM
tokenizer = GPT2Tokenizer.from_pretrained(MODEL_DIR)
model = GPTNeoForCausalLM.from_pretrained(MODEL_DIR)
generator = pipeline('text-generation', model, tokenizer=tokenizer)

generated_text = generator('Wetenschappers verbonden aan de Katholieke Universiteit', max_length=256, do_sample=True, top_k=50, top_p=0.95, temperature=0.7, no_repeat_ngram_size=2))

"Wetenschappers verbonden aan de Katholieke Universiteit van Nijmegen" - "hebben ontdekt dat de genen die een mens heeft, een enorme invloed hebben op het DNA van zijn lichaam. Cellen kunnen zich beter binden aan het DNA dan andere soorten cellen. De genen die de cellen maken, zijn bepalend voor de groei van de cel. Het DNA van een mens is niet alleen informatiedrager, maar ook een bouwstof voor het DNA. Het wordt gevonden in de genen van een cel. Als er op een cel een cel"

Tokenizer

Dataset

This model was trained on of the full configuration (33B tokens) of cleaned Dutch mC4, which is the original mC4, except

Models

TL;DR: yhavinga/gpt2-medium-dutch is the best model.

model params train seq len ppl loss batch size epochs steps optim lr duration config
yhavinga/gpt-neo-125M-dutch gpt neo 125M 512 20.9 3.04 128 1 190000/558608 adam 2.4e-3 1d 12h full
yhavinga/gpt2-medium-dutch gpt2 345M 512 15.1 2.71 128 1 320000/520502 adam 8e-4 7d 2h full
yhavinga/gpt2-large-dutch gpt2 762M 512 15.1 2.72 32 1 1100000/2082009 adafactor 3.3e-5 8d 15h large
yhavinga/gpt-neo-1.3B-dutch gpt neo 1.3B 512 16.0 2.77 16 1 960000/3049896 adafactor 5e-4 7d 11h full

Acknowledgements

This project would not have been possible without compute generously provided by Google through the TPU Research Cloud. The HuggingFace 🤗 ecosystem was also instrumental in most, if not all, parts of the training. The following repositories where helpful in setting up the TPU-VM, and training the models:

Created by Yeb Havinga