generated_from_trainer

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

CardicBERT-mix

This model is a fine-tuned version of emilyalsentzer/Bio_ClinicalBERT on an unknown dataset. It achieves the following results on the evaluation set:

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

Training results

Training Loss Epoch Step Validation Loss
No log 1.0 216 0.4048
No log 2.0 432 0.2345
No log 3.0 648 0.1914
0.736 4.0 864 0.1737
0.736 5.0 1080 0.1597
0.736 6.0 1296 0.1500
0.736 7.0 1512 0.1458
0.17 8.0 1728 0.1396
0.17 9.0 1944 0.1364
0.17 10.0 2160 0.1314
0.17 11.0 2376 0.1283
0.1434 12.0 2592 0.1263
0.1434 13.0 2808 0.1278
0.1434 14.0 3024 0.1251
0.1434 15.0 3240 0.1213
0.1308 16.0 3456 0.1196
0.1308 17.0 3672 0.1187
0.1308 18.0 3888 0.1162
0.1308 19.0 4104 0.1159
0.1233 20.0 4320 0.1144
0.1233 21.0 4536 0.1173
0.1233 22.0 4752 0.1161
0.1233 23.0 4968 0.1092
0.118 24.0 5184 0.1101
0.118 25.0 5400 0.1121
0.118 26.0 5616 0.1099
0.118 27.0 5832 0.1102
0.1141 28.0 6048 0.1116
0.1141 29.0 6264 0.1109
0.1141 30.0 6480 0.1100
0.1141 31.0 6696 0.1082
0.1111 32.0 6912 0.1081
0.1111 33.0 7128 0.1072
0.1111 34.0 7344 0.1057
0.1111 35.0 7560 0.1062
0.1085 36.0 7776 0.1047
0.1085 37.0 7992 0.1034
0.1085 38.0 8208 0.1041
0.1085 39.0 8424 0.1071
0.1065 40.0 8640 0.1051
0.1065 41.0 8856 0.1034
0.1065 42.0 9072 0.1072
0.1065 43.0 9288 0.1034
0.1047 44.0 9504 0.1027
0.1047 45.0 9720 0.1016
0.1047 46.0 9936 0.1025
0.1047 47.0 10152 0.1039
0.1032 48.0 10368 0.1038
0.1032 49.0 10584 0.1008
0.1032 50.0 10800 0.1028
0.1032 51.0 11016 0.1025
0.1018 52.0 11232 0.1041
0.1018 53.0 11448 0.1007
0.1018 54.0 11664 0.0978
0.1018 55.0 11880 0.1045
0.1005 56.0 12096 0.1040
0.1005 57.0 12312 0.1011
0.1005 58.0 12528 0.1018
0.1005 59.0 12744 0.0994
0.0994 60.0 12960 0.0990
0.0994 61.0 13176 0.1008
0.0994 62.0 13392 0.1020
0.0994 63.0 13608 0.1019
0.0986 64.0 13824 0.0993
0.0986 65.0 14040 0.0988
0.0986 66.0 14256 0.1009
0.0986 67.0 14472 0.1012
0.0977 68.0 14688 0.1000
0.0977 69.0 14904 0.1003
0.0977 70.0 15120 0.0988
0.0977 71.0 15336 0.0990
0.0964 72.0 15552 0.0986
0.0964 73.0 15768 0.0981
0.0964 74.0 15984 0.1026
0.0964 75.0 16200 0.0979
0.0958 76.0 16416 0.0979
0.0958 77.0 16632 0.0989
0.0958 78.0 16848 0.0967
0.0958 79.0 17064 0.0978
0.0954 80.0 17280 0.0973
0.0954 81.0 17496 0.0964
0.0954 82.0 17712 0.0989
0.0954 83.0 17928 0.0977
0.0943 84.0 18144 0.0971
0.0943 85.0 18360 0.1002
0.0943 86.0 18576 0.0993
0.0943 87.0 18792 0.0990
0.0939 88.0 19008 0.0995
0.0939 89.0 19224 0.0970
0.0939 90.0 19440 0.0969
0.0939 91.0 19656 0.0997
0.0936 92.0 19872 0.0988
0.0936 93.0 20088 0.0973
0.0936 94.0 20304 0.0990
0.0936 95.0 20520 0.0974
0.0926 96.0 20736 0.0963
0.0926 97.0 20952 0.0996
0.0926 98.0 21168 0.0974
0.0926 99.0 21384 0.0979
0.0922 100.0 21600 0.0963
0.0922 101.0 21816 0.0976
0.0922 102.0 22032 0.0965
0.0922 103.0 22248 0.0942
0.0917 104.0 22464 0.0987
0.0917 105.0 22680 0.0975
0.0917 106.0 22896 0.0989
0.0917 107.0 23112 0.0976
0.0911 108.0 23328 0.0970
0.0911 109.0 23544 0.0973
0.0911 110.0 23760 0.0983
0.0911 111.0 23976 0.0983
0.0905 112.0 24192 0.0969
0.0905 113.0 24408 0.0962
0.0905 114.0 24624 0.0981
0.0905 115.0 24840 0.0984
0.0903 116.0 25056 0.0959
0.0903 117.0 25272 0.0996
0.0903 118.0 25488 0.0966
0.0903 119.0 25704 0.0980
0.09 120.0 25920 0.0958
0.09 121.0 26136 0.0978
0.09 122.0 26352 0.0944
0.09 123.0 26568 0.0963
0.0895 124.0 26784 0.0988
0.0895 125.0 27000 0.0968
0.0895 126.0 27216 0.0975
0.0895 127.0 27432 0.0960
0.0889 128.0 27648 0.0957
0.0889 129.0 27864 0.0967
0.0889 130.0 28080 0.0962
0.0889 131.0 28296 0.0973
0.0887 132.0 28512 0.0985
0.0887 133.0 28728 0.0975
0.0887 134.0 28944 0.0957
0.0887 135.0 29160 0.0989
0.0881 136.0 29376 0.0979
0.0881 137.0 29592 0.0950
0.0881 138.0 29808 0.0947
0.0881 139.0 30024 0.0963
0.0879 140.0 30240 0.0946
0.0879 141.0 30456 0.0953
0.0879 142.0 30672 0.0996
0.0879 143.0 30888 0.0977
0.0875 144.0 31104 0.0986
0.0875 145.0 31320 0.0960
0.0875 146.0 31536 0.0981
0.0875 147.0 31752 0.0968
0.0873 148.0 31968 0.0953
0.0873 149.0 32184 0.0954
0.0873 150.0 32400 0.0927
0.0873 151.0 32616 0.0966
0.0868 152.0 32832 0.0985
0.0868 153.0 33048 0.0963
0.0868 154.0 33264 0.0984
0.0868 155.0 33480 0.0989
0.0867 156.0 33696 0.0971
0.0867 157.0 33912 0.0960
0.0867 158.0 34128 0.0991
0.0867 159.0 34344 0.0985
0.0865 160.0 34560 0.0964
0.0865 161.0 34776 0.0957
0.0865 162.0 34992 0.0980
0.0865 163.0 35208 0.0991
0.0864 164.0 35424 0.0952
0.0864 165.0 35640 0.0960
0.0864 166.0 35856 0.1003
0.0864 167.0 36072 0.0962
0.0861 168.0 36288 0.0959
0.0861 169.0 36504 0.0987
0.0861 170.0 36720 0.0967
0.0861 171.0 36936 0.0957
0.0859 172.0 37152 0.0954
0.0859 173.0 37368 0.0950
0.0859 174.0 37584 0.0949
0.0859 175.0 37800 0.0956
0.0855 176.0 38016 0.0953
0.0855 177.0 38232 0.0957
0.0855 178.0 38448 0.0952
0.0855 179.0 38664 0.0958
0.0852 180.0 38880 0.0976
0.0852 181.0 39096 0.0941
0.0852 182.0 39312 0.0979
0.0852 183.0 39528 0.0966
0.0848 184.0 39744 0.0951
0.0848 185.0 39960 0.0951
0.0848 186.0 40176 0.0964
0.0848 187.0 40392 0.0968
0.0847 188.0 40608 0.0945
0.0847 189.0 40824 0.0943
0.0847 190.0 41040 0.0968
0.0847 191.0 41256 0.0944
0.0842 192.0 41472 0.0932
0.0842 193.0 41688 0.0968
0.0842 194.0 41904 0.0960
0.0842 195.0 42120 0.0994
0.0838 196.0 42336 0.0951
0.0838 197.0 42552 0.0938
0.0838 198.0 42768 0.0955
0.0838 199.0 42984 0.0945
0.0838 200.0 43200 0.0960
0.0838 201.0 43416 0.0957
0.0838 202.0 43632 0.0949
0.0838 203.0 43848 0.0972
0.0838 204.0 44064 0.0990
0.0838 205.0 44280 0.0978
0.0838 206.0 44496 0.0947
0.0838 207.0 44712 0.0965
0.0834 208.0 44928 0.0936
0.0834 209.0 45144 0.0992
0.0834 210.0 45360 0.0986
0.0834 211.0 45576 0.0975
0.0832 212.0 45792 0.0951
0.0832 213.0 46008 0.0997
0.0832 214.0 46224 0.0943
0.0832 215.0 46440 0.0986
0.083 216.0 46656 0.0963
0.083 217.0 46872 0.0940
0.083 218.0 47088 0.0946
0.083 219.0 47304 0.0967
0.0827 220.0 47520 0.0972
0.0827 221.0 47736 0.0975
0.0827 222.0 47952 0.0964
0.0827 223.0 48168 0.0947
0.0823 224.0 48384 0.0987
0.0823 225.0 48600 0.0982
0.0823 226.0 48816 0.0969
0.0823 227.0 49032 0.0966
0.082 228.0 49248 0.0969
0.082 229.0 49464 0.0970
0.082 230.0 49680 0.0960
0.082 231.0 49896 0.0974
0.082 232.0 50112 0.0954
0.082 233.0 50328 0.0961
0.082 234.0 50544 0.0962
0.082 235.0 50760 0.0965
0.082 236.0 50976 0.0972
0.082 237.0 51192 0.0962
0.082 238.0 51408 0.0948
0.082 239.0 51624 0.0959
0.0819 240.0 51840 0.0987
0.0819 241.0 52056 0.0959
0.0819 242.0 52272 0.0964
0.0819 243.0 52488 0.1000
0.0817 244.0 52704 0.0993
0.0817 245.0 52920 0.0984
0.0817 246.0 53136 0.0942
0.0817 247.0 53352 0.0963
0.0813 248.0 53568 0.0980
0.0813 249.0 53784 0.0950
0.0813 250.0 54000 0.0953
0.0813 251.0 54216 0.0987
0.0813 252.0 54432 0.0972
0.0813 253.0 54648 0.0974
0.0813 254.0 54864 0.0963
0.0813 255.0 55080 0.0973
0.0811 256.0 55296 0.0980
0.0811 257.0 55512 0.0977
0.0811 258.0 55728 0.1008
0.0811 259.0 55944 0.0960
0.0811 260.0 56160 0.1002
0.0811 261.0 56376 0.0955
0.0811 262.0 56592 0.0974
0.0811 263.0 56808 0.0984
0.0809 264.0 57024 0.0994
0.0809 265.0 57240 0.0967
0.0809 266.0 57456 0.0989
0.0809 267.0 57672 0.0956
0.0808 268.0 57888 0.1008
0.0808 269.0 58104 0.0985
0.0808 270.0 58320 0.0974
0.0808 271.0 58536 0.0988
0.0806 272.0 58752 0.0988
0.0806 273.0 58968 0.0996
0.0806 274.0 59184 0.0999
0.0806 275.0 59400 0.0979
0.0807 276.0 59616 0.0977
0.0807 277.0 59832 0.0989
0.0807 278.0 60048 0.0960
0.0807 279.0 60264 0.0958
0.0803 280.0 60480 0.0981
0.0803 281.0 60696 0.0984
0.0803 282.0 60912 0.0961
0.0803 283.0 61128 0.0956
0.0803 284.0 61344 0.0994
0.0803 285.0 61560 0.0971
0.0803 286.0 61776 0.0961
0.0803 287.0 61992 0.0962
0.0803 288.0 62208 0.0979
0.0803 289.0 62424 0.0963
0.0803 290.0 62640 0.0975
0.08 291.0 62856 0.0977
0.08 292.0 63072 0.0971
0.08 293.0 63288 0.0992
0.08 294.0 63504 0.0959
0.08 295.0 63720 0.0959
0.08 296.0 63936 0.0960
0.08 297.0 64152 0.0989
0.08 298.0 64368 0.0963
0.08 299.0 64584 0.0968
0.08 300.0 64800 0.0954

Framework versions