<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->
CardicBERT-mix
This model is a fine-tuned version of emilyalsentzer/Bio_ClinicalBERT on an unknown dataset. It achieves the following results on the evaluation set:
- Loss: 0.0971
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 3e-05
- train_batch_size: 512
- eval_batch_size: 512
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 300
- mixed_precision_training: Native AMP
Training results
Training Loss | Epoch | Step | Validation Loss |
---|---|---|---|
No log | 1.0 | 216 | 0.4048 |
No log | 2.0 | 432 | 0.2345 |
No log | 3.0 | 648 | 0.1914 |
0.736 | 4.0 | 864 | 0.1737 |
0.736 | 5.0 | 1080 | 0.1597 |
0.736 | 6.0 | 1296 | 0.1500 |
0.736 | 7.0 | 1512 | 0.1458 |
0.17 | 8.0 | 1728 | 0.1396 |
0.17 | 9.0 | 1944 | 0.1364 |
0.17 | 10.0 | 2160 | 0.1314 |
0.17 | 11.0 | 2376 | 0.1283 |
0.1434 | 12.0 | 2592 | 0.1263 |
0.1434 | 13.0 | 2808 | 0.1278 |
0.1434 | 14.0 | 3024 | 0.1251 |
0.1434 | 15.0 | 3240 | 0.1213 |
0.1308 | 16.0 | 3456 | 0.1196 |
0.1308 | 17.0 | 3672 | 0.1187 |
0.1308 | 18.0 | 3888 | 0.1162 |
0.1308 | 19.0 | 4104 | 0.1159 |
0.1233 | 20.0 | 4320 | 0.1144 |
0.1233 | 21.0 | 4536 | 0.1173 |
0.1233 | 22.0 | 4752 | 0.1161 |
0.1233 | 23.0 | 4968 | 0.1092 |
0.118 | 24.0 | 5184 | 0.1101 |
0.118 | 25.0 | 5400 | 0.1121 |
0.118 | 26.0 | 5616 | 0.1099 |
0.118 | 27.0 | 5832 | 0.1102 |
0.1141 | 28.0 | 6048 | 0.1116 |
0.1141 | 29.0 | 6264 | 0.1109 |
0.1141 | 30.0 | 6480 | 0.1100 |
0.1141 | 31.0 | 6696 | 0.1082 |
0.1111 | 32.0 | 6912 | 0.1081 |
0.1111 | 33.0 | 7128 | 0.1072 |
0.1111 | 34.0 | 7344 | 0.1057 |
0.1111 | 35.0 | 7560 | 0.1062 |
0.1085 | 36.0 | 7776 | 0.1047 |
0.1085 | 37.0 | 7992 | 0.1034 |
0.1085 | 38.0 | 8208 | 0.1041 |
0.1085 | 39.0 | 8424 | 0.1071 |
0.1065 | 40.0 | 8640 | 0.1051 |
0.1065 | 41.0 | 8856 | 0.1034 |
0.1065 | 42.0 | 9072 | 0.1072 |
0.1065 | 43.0 | 9288 | 0.1034 |
0.1047 | 44.0 | 9504 | 0.1027 |
0.1047 | 45.0 | 9720 | 0.1016 |
0.1047 | 46.0 | 9936 | 0.1025 |
0.1047 | 47.0 | 10152 | 0.1039 |
0.1032 | 48.0 | 10368 | 0.1038 |
0.1032 | 49.0 | 10584 | 0.1008 |
0.1032 | 50.0 | 10800 | 0.1028 |
0.1032 | 51.0 | 11016 | 0.1025 |
0.1018 | 52.0 | 11232 | 0.1041 |
0.1018 | 53.0 | 11448 | 0.1007 |
0.1018 | 54.0 | 11664 | 0.0978 |
0.1018 | 55.0 | 11880 | 0.1045 |
0.1005 | 56.0 | 12096 | 0.1040 |
0.1005 | 57.0 | 12312 | 0.1011 |
0.1005 | 58.0 | 12528 | 0.1018 |
0.1005 | 59.0 | 12744 | 0.0994 |
0.0994 | 60.0 | 12960 | 0.0990 |
0.0994 | 61.0 | 13176 | 0.1008 |
0.0994 | 62.0 | 13392 | 0.1020 |
0.0994 | 63.0 | 13608 | 0.1019 |
0.0986 | 64.0 | 13824 | 0.0993 |
0.0986 | 65.0 | 14040 | 0.0988 |
0.0986 | 66.0 | 14256 | 0.1009 |
0.0986 | 67.0 | 14472 | 0.1012 |
0.0977 | 68.0 | 14688 | 0.1000 |
0.0977 | 69.0 | 14904 | 0.1003 |
0.0977 | 70.0 | 15120 | 0.0988 |
0.0977 | 71.0 | 15336 | 0.0990 |
0.0964 | 72.0 | 15552 | 0.0986 |
0.0964 | 73.0 | 15768 | 0.0981 |
0.0964 | 74.0 | 15984 | 0.1026 |
0.0964 | 75.0 | 16200 | 0.0979 |
0.0958 | 76.0 | 16416 | 0.0979 |
0.0958 | 77.0 | 16632 | 0.0989 |
0.0958 | 78.0 | 16848 | 0.0967 |
0.0958 | 79.0 | 17064 | 0.0978 |
0.0954 | 80.0 | 17280 | 0.0973 |
0.0954 | 81.0 | 17496 | 0.0964 |
0.0954 | 82.0 | 17712 | 0.0989 |
0.0954 | 83.0 | 17928 | 0.0977 |
0.0943 | 84.0 | 18144 | 0.0971 |
0.0943 | 85.0 | 18360 | 0.1002 |
0.0943 | 86.0 | 18576 | 0.0993 |
0.0943 | 87.0 | 18792 | 0.0990 |
0.0939 | 88.0 | 19008 | 0.0995 |
0.0939 | 89.0 | 19224 | 0.0970 |
0.0939 | 90.0 | 19440 | 0.0969 |
0.0939 | 91.0 | 19656 | 0.0997 |
0.0936 | 92.0 | 19872 | 0.0988 |
0.0936 | 93.0 | 20088 | 0.0973 |
0.0936 | 94.0 | 20304 | 0.0990 |
0.0936 | 95.0 | 20520 | 0.0974 |
0.0926 | 96.0 | 20736 | 0.0963 |
0.0926 | 97.0 | 20952 | 0.0996 |
0.0926 | 98.0 | 21168 | 0.0974 |
0.0926 | 99.0 | 21384 | 0.0979 |
0.0922 | 100.0 | 21600 | 0.0963 |
0.0922 | 101.0 | 21816 | 0.0976 |
0.0922 | 102.0 | 22032 | 0.0965 |
0.0922 | 103.0 | 22248 | 0.0942 |
0.0917 | 104.0 | 22464 | 0.0987 |
0.0917 | 105.0 | 22680 | 0.0975 |
0.0917 | 106.0 | 22896 | 0.0989 |
0.0917 | 107.0 | 23112 | 0.0976 |
0.0911 | 108.0 | 23328 | 0.0970 |
0.0911 | 109.0 | 23544 | 0.0973 |
0.0911 | 110.0 | 23760 | 0.0983 |
0.0911 | 111.0 | 23976 | 0.0983 |
0.0905 | 112.0 | 24192 | 0.0969 |
0.0905 | 113.0 | 24408 | 0.0962 |
0.0905 | 114.0 | 24624 | 0.0981 |
0.0905 | 115.0 | 24840 | 0.0984 |
0.0903 | 116.0 | 25056 | 0.0959 |
0.0903 | 117.0 | 25272 | 0.0996 |
0.0903 | 118.0 | 25488 | 0.0966 |
0.0903 | 119.0 | 25704 | 0.0980 |
0.09 | 120.0 | 25920 | 0.0958 |
0.09 | 121.0 | 26136 | 0.0978 |
0.09 | 122.0 | 26352 | 0.0944 |
0.09 | 123.0 | 26568 | 0.0963 |
0.0895 | 124.0 | 26784 | 0.0988 |
0.0895 | 125.0 | 27000 | 0.0968 |
0.0895 | 126.0 | 27216 | 0.0975 |
0.0895 | 127.0 | 27432 | 0.0960 |
0.0889 | 128.0 | 27648 | 0.0957 |
0.0889 | 129.0 | 27864 | 0.0967 |
0.0889 | 130.0 | 28080 | 0.0962 |
0.0889 | 131.0 | 28296 | 0.0973 |
0.0887 | 132.0 | 28512 | 0.0985 |
0.0887 | 133.0 | 28728 | 0.0975 |
0.0887 | 134.0 | 28944 | 0.0957 |
0.0887 | 135.0 | 29160 | 0.0989 |
0.0881 | 136.0 | 29376 | 0.0979 |
0.0881 | 137.0 | 29592 | 0.0950 |
0.0881 | 138.0 | 29808 | 0.0947 |
0.0881 | 139.0 | 30024 | 0.0963 |
0.0879 | 140.0 | 30240 | 0.0946 |
0.0879 | 141.0 | 30456 | 0.0953 |
0.0879 | 142.0 | 30672 | 0.0996 |
0.0879 | 143.0 | 30888 | 0.0977 |
0.0875 | 144.0 | 31104 | 0.0986 |
0.0875 | 145.0 | 31320 | 0.0960 |
0.0875 | 146.0 | 31536 | 0.0981 |
0.0875 | 147.0 | 31752 | 0.0968 |
0.0873 | 148.0 | 31968 | 0.0953 |
0.0873 | 149.0 | 32184 | 0.0954 |
0.0873 | 150.0 | 32400 | 0.0927 |
0.0873 | 151.0 | 32616 | 0.0966 |
0.0868 | 152.0 | 32832 | 0.0985 |
0.0868 | 153.0 | 33048 | 0.0963 |
0.0868 | 154.0 | 33264 | 0.0984 |
0.0868 | 155.0 | 33480 | 0.0989 |
0.0867 | 156.0 | 33696 | 0.0971 |
0.0867 | 157.0 | 33912 | 0.0960 |
0.0867 | 158.0 | 34128 | 0.0991 |
0.0867 | 159.0 | 34344 | 0.0985 |
0.0865 | 160.0 | 34560 | 0.0964 |
0.0865 | 161.0 | 34776 | 0.0957 |
0.0865 | 162.0 | 34992 | 0.0980 |
0.0865 | 163.0 | 35208 | 0.0991 |
0.0864 | 164.0 | 35424 | 0.0952 |
0.0864 | 165.0 | 35640 | 0.0960 |
0.0864 | 166.0 | 35856 | 0.1003 |
0.0864 | 167.0 | 36072 | 0.0962 |
0.0861 | 168.0 | 36288 | 0.0959 |
0.0861 | 169.0 | 36504 | 0.0987 |
0.0861 | 170.0 | 36720 | 0.0967 |
0.0861 | 171.0 | 36936 | 0.0957 |
0.0859 | 172.0 | 37152 | 0.0954 |
0.0859 | 173.0 | 37368 | 0.0950 |
0.0859 | 174.0 | 37584 | 0.0949 |
0.0859 | 175.0 | 37800 | 0.0956 |
0.0855 | 176.0 | 38016 | 0.0953 |
0.0855 | 177.0 | 38232 | 0.0957 |
0.0855 | 178.0 | 38448 | 0.0952 |
0.0855 | 179.0 | 38664 | 0.0958 |
0.0852 | 180.0 | 38880 | 0.0976 |
0.0852 | 181.0 | 39096 | 0.0941 |
0.0852 | 182.0 | 39312 | 0.0979 |
0.0852 | 183.0 | 39528 | 0.0966 |
0.0848 | 184.0 | 39744 | 0.0951 |
0.0848 | 185.0 | 39960 | 0.0951 |
0.0848 | 186.0 | 40176 | 0.0964 |
0.0848 | 187.0 | 40392 | 0.0968 |
0.0847 | 188.0 | 40608 | 0.0945 |
0.0847 | 189.0 | 40824 | 0.0943 |
0.0847 | 190.0 | 41040 | 0.0968 |
0.0847 | 191.0 | 41256 | 0.0944 |
0.0842 | 192.0 | 41472 | 0.0932 |
0.0842 | 193.0 | 41688 | 0.0968 |
0.0842 | 194.0 | 41904 | 0.0960 |
0.0842 | 195.0 | 42120 | 0.0994 |
0.0838 | 196.0 | 42336 | 0.0951 |
0.0838 | 197.0 | 42552 | 0.0938 |
0.0838 | 198.0 | 42768 | 0.0955 |
0.0838 | 199.0 | 42984 | 0.0945 |
0.0838 | 200.0 | 43200 | 0.0960 |
0.0838 | 201.0 | 43416 | 0.0957 |
0.0838 | 202.0 | 43632 | 0.0949 |
0.0838 | 203.0 | 43848 | 0.0972 |
0.0838 | 204.0 | 44064 | 0.0990 |
0.0838 | 205.0 | 44280 | 0.0978 |
0.0838 | 206.0 | 44496 | 0.0947 |
0.0838 | 207.0 | 44712 | 0.0965 |
0.0834 | 208.0 | 44928 | 0.0936 |
0.0834 | 209.0 | 45144 | 0.0992 |
0.0834 | 210.0 | 45360 | 0.0986 |
0.0834 | 211.0 | 45576 | 0.0975 |
0.0832 | 212.0 | 45792 | 0.0951 |
0.0832 | 213.0 | 46008 | 0.0997 |
0.0832 | 214.0 | 46224 | 0.0943 |
0.0832 | 215.0 | 46440 | 0.0986 |
0.083 | 216.0 | 46656 | 0.0963 |
0.083 | 217.0 | 46872 | 0.0940 |
0.083 | 218.0 | 47088 | 0.0946 |
0.083 | 219.0 | 47304 | 0.0967 |
0.0827 | 220.0 | 47520 | 0.0972 |
0.0827 | 221.0 | 47736 | 0.0975 |
0.0827 | 222.0 | 47952 | 0.0964 |
0.0827 | 223.0 | 48168 | 0.0947 |
0.0823 | 224.0 | 48384 | 0.0987 |
0.0823 | 225.0 | 48600 | 0.0982 |
0.0823 | 226.0 | 48816 | 0.0969 |
0.0823 | 227.0 | 49032 | 0.0966 |
0.082 | 228.0 | 49248 | 0.0969 |
0.082 | 229.0 | 49464 | 0.0970 |
0.082 | 230.0 | 49680 | 0.0960 |
0.082 | 231.0 | 49896 | 0.0974 |
0.082 | 232.0 | 50112 | 0.0954 |
0.082 | 233.0 | 50328 | 0.0961 |
0.082 | 234.0 | 50544 | 0.0962 |
0.082 | 235.0 | 50760 | 0.0965 |
0.082 | 236.0 | 50976 | 0.0972 |
0.082 | 237.0 | 51192 | 0.0962 |
0.082 | 238.0 | 51408 | 0.0948 |
0.082 | 239.0 | 51624 | 0.0959 |
0.0819 | 240.0 | 51840 | 0.0987 |
0.0819 | 241.0 | 52056 | 0.0959 |
0.0819 | 242.0 | 52272 | 0.0964 |
0.0819 | 243.0 | 52488 | 0.1000 |
0.0817 | 244.0 | 52704 | 0.0993 |
0.0817 | 245.0 | 52920 | 0.0984 |
0.0817 | 246.0 | 53136 | 0.0942 |
0.0817 | 247.0 | 53352 | 0.0963 |
0.0813 | 248.0 | 53568 | 0.0980 |
0.0813 | 249.0 | 53784 | 0.0950 |
0.0813 | 250.0 | 54000 | 0.0953 |
0.0813 | 251.0 | 54216 | 0.0987 |
0.0813 | 252.0 | 54432 | 0.0972 |
0.0813 | 253.0 | 54648 | 0.0974 |
0.0813 | 254.0 | 54864 | 0.0963 |
0.0813 | 255.0 | 55080 | 0.0973 |
0.0811 | 256.0 | 55296 | 0.0980 |
0.0811 | 257.0 | 55512 | 0.0977 |
0.0811 | 258.0 | 55728 | 0.1008 |
0.0811 | 259.0 | 55944 | 0.0960 |
0.0811 | 260.0 | 56160 | 0.1002 |
0.0811 | 261.0 | 56376 | 0.0955 |
0.0811 | 262.0 | 56592 | 0.0974 |
0.0811 | 263.0 | 56808 | 0.0984 |
0.0809 | 264.0 | 57024 | 0.0994 |
0.0809 | 265.0 | 57240 | 0.0967 |
0.0809 | 266.0 | 57456 | 0.0989 |
0.0809 | 267.0 | 57672 | 0.0956 |
0.0808 | 268.0 | 57888 | 0.1008 |
0.0808 | 269.0 | 58104 | 0.0985 |
0.0808 | 270.0 | 58320 | 0.0974 |
0.0808 | 271.0 | 58536 | 0.0988 |
0.0806 | 272.0 | 58752 | 0.0988 |
0.0806 | 273.0 | 58968 | 0.0996 |
0.0806 | 274.0 | 59184 | 0.0999 |
0.0806 | 275.0 | 59400 | 0.0979 |
0.0807 | 276.0 | 59616 | 0.0977 |
0.0807 | 277.0 | 59832 | 0.0989 |
0.0807 | 278.0 | 60048 | 0.0960 |
0.0807 | 279.0 | 60264 | 0.0958 |
0.0803 | 280.0 | 60480 | 0.0981 |
0.0803 | 281.0 | 60696 | 0.0984 |
0.0803 | 282.0 | 60912 | 0.0961 |
0.0803 | 283.0 | 61128 | 0.0956 |
0.0803 | 284.0 | 61344 | 0.0994 |
0.0803 | 285.0 | 61560 | 0.0971 |
0.0803 | 286.0 | 61776 | 0.0961 |
0.0803 | 287.0 | 61992 | 0.0962 |
0.0803 | 288.0 | 62208 | 0.0979 |
0.0803 | 289.0 | 62424 | 0.0963 |
0.0803 | 290.0 | 62640 | 0.0975 |
0.08 | 291.0 | 62856 | 0.0977 |
0.08 | 292.0 | 63072 | 0.0971 |
0.08 | 293.0 | 63288 | 0.0992 |
0.08 | 294.0 | 63504 | 0.0959 |
0.08 | 295.0 | 63720 | 0.0959 |
0.08 | 296.0 | 63936 | 0.0960 |
0.08 | 297.0 | 64152 | 0.0989 |
0.08 | 298.0 | 64368 | 0.0963 |
0.08 | 299.0 | 64584 | 0.0968 |
0.08 | 300.0 | 64800 | 0.0954 |
Framework versions
- Transformers 4.26.1
- Pytorch 2.1.0+cu121
- Datasets 2.14.6
- Tokenizers 0.13.3