基于 chinese-pert-large 训练的面向开放领域MRC 模型
使用中文MRC数据(cmrc2018, webqa与laisi的训练集)训练的chinese-pert-large模型
训练过程
使用了UER-py 进行fine-tuned 加入了包括但不限于摘要、负采样、混淆等数据加强方法 并转换为Huggingface进行上传
CMRC 2018 Dev | DRCD Dev | SQuAD-Zen Dev (Answerable) | AVG | |
---|---|---|---|---|
PERT-large | 74.4/89.8 | 90.3/94. | 62.8/78.8 | 75.9/87.8 |