MiLu-GPT

基于GPT2+BERT的语言模型，以少量的纯中文语料从头训练，验证小模型在ChatGPT类似友好能力

GPT2+BERTokenizer从头训练模型（50W闲聊等语料）

环境：<br> WIN10+Torch1.31+Cuda11.6 <br> transformer4.29<br>

GIT开源地址：https://github.com/StarRing2022/MiLu-GPT/