distil_mse_3

作者 alishudi · 下载 1 · 点赞 0 · 更新 2023-10-31

--alpha_ce 0.0 --alpha_mlm 2.0 --alpha_cos 1.0 --alpha_act 1.0 --alpha_clm 0.0 --alpha_mse 0.0002 --mlm
3 layers