<!-- This model card has been generated automatically according to the information Keras had access to. You should probably proofread and complete it, then remove this comment. -->
pretrained-bert-uncased-200
This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:
- Train Loss: nan
- Validation Loss: nan
- Epoch: 199
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- optimizer: {'name': 'Adam', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
- training_precision: float32
Training results
| Train Loss | Validation Loss | Epoch |
|---|---|---|
| 8.9076 | 9.5544 | 0 |
| 7.0572 | 9.6310 | 1 |
| 6.5781 | 10.4973 | 2 |
| 6.1054 | 10.4749 | 3 |
| 6.1980 | 10.4411 | 4 |
| 6.0896 | 11.1385 | 5 |
| 6.1630 | 10.8668 | 6 |
| 5.9313 | 11.2520 | 7 |
| 5.7459 | 10.9396 | 8 |
| 5.8505 | 11.1343 | 9 |
| 5.8592 | 11.6048 | 10 |
| 5.7595 | 12.0371 | 11 |
| 5.7283 | 11.4402 | 12 |
| 5.7948 | 11.6117 | 13 |
| 5.7973 | 11.7393 | 14 |
| 5.6228 | 11.9450 | 15 |
| 5.6996 | 11.9938 | 16 |
| 5.7468 | 12.3826 | 17 |
| 5.6336 | 11.7692 | 18 |
| 5.6287 | 12.1970 | 19 |
| 5.7435 | 12.3895 | 20 |
| 5.6587 | 12.2124 | 21 |
| 5.6767 | 12.1633 | 22 |
| 5.7494 | 12.1844 | 23 |
| 5.5532 | 12.4163 | 24 |
| 5.4826 | 12.3235 | 25 |
| 5.7103 | 12.7326 | 26 |
| 5.6399 | 12.3326 | 27 |
| 5.6171 | 12.4726 | 28 |
| 5.8517 | 12.3647 | 29 |
| 5.6446 | 12.4943 | 30 |
| 5.5662 | 12.6303 | 31 |
| 5.8222 | 12.5869 | 32 |
| 5.5710 | 13.0406 | 33 |
| 5.6011 | 12.5007 | 34 |
| 5.6860 | 12.2958 | 35 |
| 5.6071 | 12.5690 | 36 |
| 5.5824 | 12.4472 | 37 |
| 5.5800 | 12.8570 | 38 |
| 5.6298 | 12.9604 | 39 |
| 5.4751 | 13.0937 | 40 |
| 5.5724 | 12.8909 | 41 |
| 5.6251 | 13.1132 | 42 |
| 5.5483 | 12.7036 | 43 |
| 5.6252 | 13.1233 | 44 |
| 5.4592 | 13.1353 | 45 |
| 5.5780 | 13.2373 | 46 |
| 5.5350 | 13.4289 | 47 |
| 5.4859 | 13.3994 | 48 |
| 5.6908 | 13.1062 | 49 |
| 5.7516 | 13.1705 | 50 |
| 5.5373 | 13.3196 | 51 |
| 5.6078 | 13.3352 | 52 |
| 5.5998 | 13.3831 | 53 |
| 5.6833 | 13.4430 | 54 |
| 5.6047 | 12.7287 | 55 |
| 5.7165 | 13.1647 | 56 |
| 5.5246 | 13.5831 | 57 |
| 5.5244 | 13.4733 | 58 |
| 5.5659 | 13.8621 | 59 |
| 5.6702 | 13.0873 | 60 |
| 5.5403 | 13.2744 | 61 |
| 5.4980 | 13.5826 | 62 |
| 5.5052 | 13.4584 | 63 |
| 5.5921 | 13.6191 | 64 |
| 5.5647 | 13.2221 | 65 |
| 5.6330 | 13.4804 | 66 |
| 5.6607 | 13.0722 | 67 |
| 5.7957 | 13.6183 | 68 |
| 5.7403 | 13.5204 | 69 |
| 5.5702 | 13.4229 | 70 |
| 5.4891 | 13.6547 | 71 |
| 5.7374 | 13.5464 | 72 |
| 5.6032 | 13.3607 | 73 |
| 5.5891 | 14.0467 | 74 |
| 5.7014 | 13.7621 | 75 |
| 5.6749 | 13.4568 | 76 |
| 5.6180 | 13.7552 | 77 |
| 5.6203 | 13.7563 | 78 |
| 5.6290 | 13.4801 | 79 |
| 5.6179 | 13.6345 | 80 |
| 5.5856 | 13.8037 | 81 |
| 5.6667 | 14.1205 | 82 |
| 5.5012 | 14.2115 | 83 |
| 5.6736 | 13.9032 | 84 |
| 5.6132 | 13.7493 | 85 |
| 5.6931 | 13.5402 | 86 |
| 5.4744 | 13.9974 | 87 |
| 5.6554 | 14.0855 | 88 |
| 5.5775 | 13.7100 | 89 |
| 5.6002 | 13.7944 | 90 |
| 5.6341 | 14.4328 | 91 |
| nan | nan | 92 |
| nan | nan | 93 |
| nan | nan | 94 |
| nan | nan | 95 |
| nan | nan | 96 |
| nan | nan | 97 |
| nan | nan | 98 |
| nan | nan | 99 |
| nan | nan | 100 |
| nan | nan | 101 |
| nan | nan | 102 |
| nan | nan | 103 |
| nan | nan | 104 |
| nan | nan | 105 |
| nan | nan | 106 |
| nan | nan | 107 |
| nan | nan | 108 |
| nan | nan | 109 |
| nan | nan | 110 |
| nan | nan | 111 |
| nan | nan | 112 |
| nan | nan | 113 |
| nan | nan | 114 |
| nan | nan | 115 |
| nan | nan | 116 |
| nan | nan | 117 |
| nan | nan | 118 |
| nan | nan | 119 |
| nan | nan | 120 |
| nan | nan | 121 |
| nan | nan | 122 |
| nan | nan | 123 |
| nan | nan | 124 |
| nan | nan | 125 |
| nan | nan | 126 |
| nan | nan | 127 |
| nan | nan | 128 |
| nan | nan | 129 |
| nan | nan | 130 |
| nan | nan | 131 |
| nan | nan | 132 |
| nan | nan | 133 |
| nan | nan | 134 |
| nan | nan | 135 |
| nan | nan | 136 |
| nan | nan | 137 |
| nan | nan | 138 |
| nan | nan | 139 |
| nan | nan | 140 |
| nan | nan | 141 |
| nan | nan | 142 |
| nan | nan | 143 |
| nan | nan | 144 |
| nan | nan | 145 |
| nan | nan | 146 |
| nan | nan | 147 |
| nan | nan | 148 |
| nan | nan | 149 |
| nan | nan | 150 |
| nan | nan | 151 |
| nan | nan | 152 |
| nan | nan | 153 |
| nan | nan | 154 |
| nan | nan | 155 |
| nan | nan | 156 |
| nan | nan | 157 |
| nan | nan | 158 |
| nan | nan | 159 |
| nan | nan | 160 |
| nan | nan | 161 |
| nan | nan | 162 |
| nan | nan | 163 |
| nan | nan | 164 |
| nan | nan | 165 |
| nan | nan | 166 |
| nan | nan | 167 |
| nan | nan | 168 |
| nan | nan | 169 |
| nan | nan | 170 |
| nan | nan | 171 |
| nan | nan | 172 |
| nan | nan | 173 |
| nan | nan | 174 |
| nan | nan | 175 |
| nan | nan | 176 |
| nan | nan | 177 |
| nan | nan | 178 |
| nan | nan | 179 |
| nan | nan | 180 |
| nan | nan | 181 |
| nan | nan | 182 |
| nan | nan | 183 |
| nan | nan | 184 |
| nan | nan | 185 |
| nan | nan | 186 |
| nan | nan | 187 |
| nan | nan | 188 |
| nan | nan | 189 |
| nan | nan | 190 |
| nan | nan | 191 |
| nan | nan | 192 |
| nan | nan | 193 |
| nan | nan | 194 |
| nan | nan | 195 |
| nan | nan | 196 |
| nan | nan | 197 |
| nan | nan | 198 |
| nan | nan | 199 |
Framework versions
- Transformers 4.27.0.dev0
- TensorFlow 2.9.2
- Datasets 2.9.0
- Tokenizers 0.13.2
