<!-- This model card has been generated automatically according to the information Keras had access to. You should probably proofread and complete it, then remove this comment. -->
pretrained-m-bert-500
This model is a fine-tuned version of on an unknown dataset. It achieves the following results on the evaluation set:
- Train Loss: nan
- Validation Loss: nan
- Epoch: 499
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- optimizer: {'name': 'Adam', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False}
- training_precision: float32
Training results
Train Loss | Validation Loss | Epoch |
---|---|---|
10.2739 | 10.9467 | 0 |
7.7645 | 10.9288 | 1 |
6.8555 | 11.5279 | 2 |
6.4632 | 11.6263 | 3 |
6.3355 | 11.4757 | 4 |
6.3058 | 12.0991 | 5 |
6.4287 | 11.7486 | 6 |
6.0511 | 12.1714 | 7 |
5.9225 | 12.1125 | 8 |
6.0564 | 12.0840 | 9 |
5.9826 | 12.5151 | 10 |
5.9158 | 12.8370 | 11 |
5.9259 | 12.4708 | 12 |
5.9949 | 12.9119 | 13 |
6.0393 | 12.3977 | 14 |
5.8529 | 12.5782 | 15 |
5.8925 | 12.8304 | 16 |
5.9375 | 13.0765 | 17 |
5.8301 | 12.9770 | 18 |
5.8228 | 13.0910 | 19 |
5.8745 | 13.1173 | 20 |
5.7530 | 13.1872 | 21 |
5.8580 | 13.2372 | 22 |
5.8831 | 13.1819 | 23 |
5.7337 | 13.0628 | 24 |
5.6735 | 13.2866 | 25 |
5.8513 | 13.4646 | 26 |
5.7785 | 14.1611 | 27 |
5.8023 | 13.6074 | 28 |
5.9448 | 13.0115 | 29 |
5.8186 | 13.0827 | 30 |
5.7649 | 13.5381 | 31 |
5.9589 | 13.5486 | 32 |
5.6677 | 13.6187 | 33 |
5.7742 | 13.5131 | 34 |
5.7498 | 13.3843 | 35 |
5.7025 | 13.6528 | 36 |
5.8219 | 13.5450 | 37 |
5.7838 | 13.7073 | 38 |
5.8232 | 13.6628 | 39 |
5.6149 | 13.8447 | 40 |
5.7623 | 13.8217 | 41 |
5.7256 | 14.2310 | 42 |
5.6833 | 13.8236 | 43 |
5.6959 | 14.1115 | 44 |
5.6337 | 14.1601 | 45 |
5.6291 | 14.0644 | 46 |
5.6384 | 14.2376 | 47 |
5.6432 | 14.0575 | 48 |
5.7842 | 14.0357 | 49 |
5.8243 | 14.0310 | 50 |
5.6608 | 14.5138 | 51 |
5.6837 | 14.3153 | 52 |
5.6851 | 14.0351 | 53 |
5.9102 | 14.3691 | 54 |
5.6353 | 13.7349 | 55 |
5.8288 | 14.1780 | 56 |
5.6853 | 14.5344 | 57 |
5.6768 | 14.1037 | 58 |
5.7125 | 14.2650 | 59 |
5.7264 | 13.9798 | 60 |
5.6180 | 14.2999 | 61 |
5.6552 | 14.6840 | 62 |
5.5937 | 12.6319 | 63 |
5.6968 | 14.4662 | 64 |
5.7412 | 14.5146 | 65 |
5.6894 | 14.7825 | 66 |
5.7429 | 14.4179 | 67 |
5.8970 | 14.5220 | 68 |
5.8363 | 14.7431 | 69 |
5.6723 | 14.3854 | 70 |
5.6331 | 14.3606 | 71 |
5.8211 | 14.2819 | 72 |
5.6573 | 14.1377 | 73 |
5.6679 | 15.0708 | 74 |
5.8098 | 14.2208 | 75 |
5.7651 | 14.5841 | 76 |
5.7128 | 14.4615 | 77 |
5.7240 | 14.3851 | 78 |
5.6542 | 14.1252 | 79 |
5.6956 | 14.5275 | 80 |
5.7033 | 14.2555 | 81 |
5.7193 | 14.5061 | 82 |
5.5942 | 15.0025 | 83 |
5.7616 | 14.7460 | 84 |
5.7584 | 15.0039 | 85 |
5.7949 | 14.6488 | 86 |
5.6070 | 15.1781 | 87 |
5.7464 | 14.9159 | 88 |
5.6865 | 14.4204 | 89 |
5.6934 | 14.2373 | 90 |
5.7053 | 15.2664 | 91 |
5.6629 | 15.0062 | 92 |
5.6186 | 14.8861 | 93 |
5.8011 | 14.5602 | 94 |
5.5920 | 14.8159 | 95 |
5.7014 | 14.7589 | 96 |
5.5643 | 14.8814 | 97 |
5.6404 | 14.7907 | 98 |
5.7086 | 15.2773 | 99 |
5.6854 | 14.9998 | 100 |
5.6626 | 15.3495 | 101 |
5.7779 | 14.7495 | 102 |
5.7254 | 14.1843 | 103 |
5.5688 | 15.4027 | 104 |
5.7299 | 15.1292 | 105 |
5.7637 | 15.0089 | 106 |
5.7381 | 14.7808 | 107 |
5.6771 | 15.2646 | 108 |
5.6818 | 15.2837 | 109 |
5.7686 | 14.9571 | 110 |
5.7576 | 15.1920 | 111 |
5.7726 | 15.1617 | 112 |
5.6316 | 15.1758 | 113 |
5.8113 | 14.7105 | 114 |
5.6426 | 15.1844 | 115 |
5.7508 | 14.8047 | 116 |
5.6051 | 15.1107 | 117 |
5.7612 | 15.4183 | 118 |
5.6339 | 15.2419 | 119 |
5.6624 | 15.3083 | 120 |
5.7811 | 15.0736 | 121 |
5.6642 | 15.1613 | 122 |
5.7181 | 15.4360 | 123 |
5.6678 | 14.9387 | 124 |
5.5912 | 15.0978 | 125 |
5.6615 | 15.6547 | 126 |
5.6578 | 15.3756 | 127 |
5.6066 | 15.0189 | 128 |
5.8590 | 15.0346 | 129 |
5.4730 | 15.3790 | 130 |
5.7071 | 15.5029 | 131 |
5.8147 | 15.2418 | 132 |
5.7221 | 15.5273 | 133 |
5.6042 | 15.1112 | 134 |
5.6864 | 15.0770 | 135 |
5.6760 | 15.3917 | 136 |
5.6659 | 15.1614 | 137 |
5.6877 | 15.2246 | 138 |
5.7605 | 14.7458 | 139 |
5.6002 | 15.4996 | 140 |
5.5900 | 15.1735 | 141 |
5.6669 | 14.8704 | 142 |
5.7044 | 15.2206 | 143 |
5.6527 | 15.2784 | 144 |
5.7957 | 14.6124 | 145 |
5.7027 | 15.1526 | 146 |
5.6535 | 15.6537 | 147 |
5.5724 | 15.6795 | 148 |
5.8004 | 15.0675 | 149 |
5.7325 | 15.7633 | 150 |
5.7628 | 15.2577 | 151 |
5.6989 | 15.5838 | 152 |
5.5965 | 14.6995 | 153 |
5.7098 | 15.5871 | 154 |
5.7223 | 15.9051 | 155 |
5.6590 | 14.8577 | 156 |
5.6875 | 15.5673 | 157 |
5.4954 | 15.8485 | 158 |
5.6731 | 16.3177 | 159 |
5.6663 | 15.4642 | 160 |
5.7220 | 15.7394 | 161 |
5.6401 | 15.3949 | 162 |
5.7438 | 15.1514 | 163 |
5.7138 | 15.3914 | 164 |
5.6213 | 16.1217 | 165 |
5.5700 | 15.8129 | 166 |
5.7998 | 15.9362 | 167 |
5.6577 | 15.5407 | 168 |
5.6681 | 15.6683 | 169 |
5.5963 | 16.1492 | 170 |
5.6245 | 15.7006 | 171 |
5.6382 | 15.7842 | 172 |
5.8126 | 15.1912 | 173 |
5.6222 | 16.0619 | 174 |
5.6766 | 15.8941 | 175 |
5.6306 | 15.5406 | 176 |
5.6549 | 15.9326 | 177 |
5.6167 | 15.8319 | 178 |
5.6650 | 16.0879 | 179 |
5.6494 | 15.7430 | 180 |
5.6033 | 15.9896 | 181 |
5.6986 | 15.5833 | 182 |
5.6200 | 15.5568 | 183 |
5.7038 | 15.4953 | 184 |
5.6138 | 15.4238 | 185 |
5.6298 | 15.3535 | 186 |
5.7825 | 15.5319 | 187 |
5.6837 | 15.8585 | 188 |
5.6850 | 15.7378 | 189 |
5.6308 | 15.9983 | 190 |
5.7468 | 15.2695 | 191 |
5.6929 | 15.6588 | 192 |
5.5980 | 15.8079 | 193 |
5.6585 | 15.1795 | 194 |
5.7155 | 15.4172 | 195 |
5.4967 | 16.0720 | 196 |
5.6457 | 15.8192 | 197 |
5.5944 | 16.0818 | 198 |
5.5993 | 15.7492 | 199 |
5.6399 | 15.5226 | 200 |
5.6213 | 15.2274 | 201 |
5.5596 | 15.9212 | 202 |
5.7005 | 16.0254 | 203 |
5.6509 | 16.0489 | 204 |
5.6330 | 15.6095 | 205 |
5.6937 | 15.4836 | 206 |
5.6139 | 15.9037 | 207 |
5.6990 | 15.8835 | 208 |
5.7159 | 15.4055 | 209 |
5.7064 | 16.1568 | 210 |
5.5811 | 15.8374 | 211 |
5.5380 | 15.9787 | 212 |
5.7873 | 16.3566 | 213 |
5.6803 | 16.1136 | 214 |
5.7022 | 15.9423 | 215 |
5.6328 | 16.2375 | 216 |
5.5515 | 16.1874 | 217 |
5.5606 | 15.8988 | 218 |
5.6255 | 15.0519 | 219 |
5.6009 | 16.9413 | 220 |
5.6156 | 16.3816 | 221 |
5.5921 | 15.8814 | 222 |
5.6362 | 16.4681 | 223 |
5.5992 | 16.4140 | 224 |
5.7476 | 15.9326 | 225 |
5.7070 | 16.2967 | 226 |
5.6355 | 16.0066 | 227 |
5.6825 | 16.1857 | 228 |
5.7157 | 16.4286 | 229 |
5.6292 | 16.1983 | 230 |
5.6856 | 16.1762 | 231 |
5.5922 | 16.3408 | 232 |
5.6552 | 16.4230 | 233 |
5.6409 | 16.3617 | 234 |
5.7150 | 15.9821 | 235 |
5.6426 | 16.2628 | 236 |
5.6254 | 16.2317 | 237 |
5.6533 | 15.8563 | 238 |
5.7265 | 16.1139 | 239 |
5.5244 | 16.2591 | 240 |
5.5972 | 16.5940 | 241 |
5.6212 | 16.3575 | 242 |
5.6620 | 16.2986 | 243 |
5.7014 | 15.7731 | 244 |
5.5571 | 16.3621 | 245 |
5.5364 | 15.8728 | 246 |
5.6137 | 15.9289 | 247 |
5.6210 | 15.8208 | 248 |
5.6127 | 16.4034 | 249 |
5.5398 | 15.4969 | 250 |
5.4860 | 16.3688 | 251 |
5.5070 | 15.2843 | 252 |
5.5852 | 16.6199 | 253 |
5.6538 | 16.2439 | 254 |
5.6297 | 16.4628 | 255 |
5.5851 | 16.2025 | 256 |
5.5888 | 16.1771 | 257 |
5.5863 | 16.1895 | 258 |
5.5985 | 15.6048 | 259 |
5.5132 | 16.3437 | 260 |
5.5057 | 16.2532 | 261 |
5.4660 | 15.8150 | 262 |
5.4307 | 15.9858 | 263 |
5.4938 | 15.8380 | 264 |
5.5093 | 15.9445 | 265 |
5.3760 | 16.1691 | 266 |
5.4411 | 16.3107 | 267 |
5.4771 | 15.2124 | 268 |
5.4363 | 15.7446 | 269 |
5.3159 | 15.2140 | 270 |
5.3206 | 16.5491 | 271 |
5.4283 | 15.8891 | 272 |
5.4417 | 15.7291 | 273 |
5.2961 | 15.7117 | 274 |
5.3599 | 15.7950 | 275 |
5.3951 | 15.7102 | 276 |
5.2708 | 16.0568 | 277 |
5.2460 | 15.8950 | 278 |
5.2299 | 15.7666 | 279 |
5.2599 | 16.0815 | 280 |
5.2435 | 15.6292 | 281 |
5.2287 | 15.8015 | 282 |
5.1863 | 15.7617 | 283 |
5.2478 | 15.2488 | 284 |
5.2081 | 15.8984 | 285 |
5.2845 | 15.4205 | 286 |
5.1488 | 15.6027 | 287 |
5.1796 | 15.4884 | 288 |
5.1620 | 15.8486 | 289 |
5.0873 | 15.6319 | 290 |
5.1490 | 15.8943 | 291 |
5.3411 | 15.4410 | 292 |
5.1213 | 15.4223 | 293 |
5.1529 | 15.7270 | 294 |
5.0584 | 15.8027 | 295 |
5.1333 | 15.3475 | 296 |
5.0771 | 16.0088 | 297 |
5.1865 | 15.6306 | 298 |
5.1647 | 14.5357 | 299 |
5.1321 | 15.5258 | 300 |
5.0660 | 15.1154 | 301 |
4.9785 | 15.7435 | 302 |
5.1288 | 15.2501 | 303 |
4.9958 | 16.2107 | 304 |
5.0186 | 14.8714 | 305 |
5.0534 | 16.0393 | 306 |
5.1283 | 15.8092 | 307 |
5.0487 | 15.1757 | 308 |
5.0059 | 14.9999 | 309 |
5.0254 | 15.2550 | 310 |
5.0700 | 14.6593 | 311 |
4.9701 | 14.9625 | 312 |
4.9914 | 15.1240 | 313 |
5.1482 | 15.1512 | 314 |
5.0386 | 15.0771 | 315 |
5.0796 | 15.3972 | 316 |
5.0037 | 15.2716 | 317 |
5.0123 | 15.5238 | 318 |
4.9456 | 15.3506 | 319 |
4.9821 | 15.1408 | 320 |
5.0723 | 14.7902 | 321 |
4.9550 | 15.1561 | 322 |
4.8579 | 15.6329 | 323 |
4.9479 | 15.1341 | 324 |
4.9533 | 15.0210 | 325 |
4.9578 | 15.3307 | 326 |
4.9989 | 15.5646 | 327 |
4.9010 | 15.2794 | 328 |
4.8946 | nan | 329 |
4.9502 | 15.3112 | 330 |
4.9215 | 15.4103 | 331 |
4.7364 | 15.1038 | 332 |
4.9434 | 15.4464 | 333 |
4.8433 | 15.2240 | 334 |
4.8293 | 15.4287 | 335 |
4.9500 | 15.3020 | 336 |
4.9363 | 15.1094 | 337 |
4.8763 | 15.6272 | 338 |
4.9083 | 15.1468 | 339 |
4.7588 | 15.4358 | 340 |
4.7691 | 14.9748 | 341 |
4.8005 | 15.5152 | 342 |
nan | nan | 343 |
nan | nan | 344 |
nan | nan | 345 |
nan | nan | 346 |
nan | nan | 347 |
nan | nan | 348 |
nan | nan | 349 |
nan | nan | 350 |
nan | nan | 351 |
nan | nan | 352 |
nan | nan | 353 |
nan | nan | 354 |
nan | nan | 355 |
nan | nan | 356 |
nan | nan | 357 |
nan | nan | 358 |
nan | nan | 359 |
nan | nan | 360 |
nan | nan | 361 |
nan | nan | 362 |
nan | nan | 363 |
nan | nan | 364 |
nan | nan | 365 |
nan | nan | 366 |
nan | nan | 367 |
nan | nan | 368 |
nan | nan | 369 |
nan | nan | 370 |
nan | nan | 371 |
nan | nan | 372 |
nan | nan | 373 |
nan | nan | 374 |
nan | nan | 375 |
nan | nan | 376 |
nan | nan | 377 |
nan | nan | 378 |
nan | nan | 379 |
nan | nan | 380 |
nan | nan | 381 |
nan | nan | 382 |
nan | nan | 383 |
nan | nan | 384 |
nan | nan | 385 |
nan | nan | 386 |
nan | nan | 387 |
nan | nan | 388 |
nan | nan | 389 |
nan | nan | 390 |
nan | nan | 391 |
nan | nan | 392 |
nan | nan | 393 |
nan | nan | 394 |
nan | nan | 395 |
nan | nan | 396 |
nan | nan | 397 |
nan | nan | 398 |
nan | nan | 399 |
nan | nan | 400 |
nan | nan | 401 |
nan | nan | 402 |
nan | nan | 403 |
nan | nan | 404 |
nan | nan | 405 |
nan | nan | 406 |
nan | nan | 407 |
nan | nan | 408 |
nan | nan | 409 |
nan | nan | 410 |
nan | nan | 411 |
nan | nan | 412 |
nan | nan | 413 |
nan | nan | 414 |
nan | nan | 415 |
nan | nan | 416 |
nan | nan | 417 |
nan | nan | 418 |
nan | nan | 419 |
nan | nan | 420 |
nan | nan | 421 |
nan | nan | 422 |
nan | nan | 423 |
nan | nan | 424 |
nan | nan | 425 |
nan | nan | 426 |
nan | nan | 427 |
nan | nan | 428 |
nan | nan | 429 |
nan | nan | 430 |
nan | nan | 431 |
nan | nan | 432 |
nan | nan | 433 |
nan | nan | 434 |
nan | nan | 435 |
nan | nan | 436 |
nan | nan | 437 |
nan | nan | 438 |
nan | nan | 439 |
nan | nan | 440 |
nan | nan | 441 |
nan | nan | 442 |
nan | nan | 443 |
nan | nan | 444 |
nan | nan | 445 |
nan | nan | 446 |
nan | nan | 447 |
nan | nan | 448 |
nan | nan | 449 |
nan | nan | 450 |
nan | nan | 451 |
nan | nan | 452 |
nan | nan | 453 |
nan | nan | 454 |
nan | nan | 455 |
nan | nan | 456 |
nan | nan | 457 |
nan | nan | 458 |
nan | nan | 459 |
nan | nan | 460 |
nan | nan | 461 |
nan | nan | 462 |
nan | nan | 463 |
nan | nan | 464 |
nan | nan | 465 |
nan | nan | 466 |
nan | nan | 467 |
nan | nan | 468 |
nan | nan | 469 |
nan | nan | 470 |
nan | nan | 471 |
nan | nan | 472 |
nan | nan | 473 |
nan | nan | 474 |
nan | nan | 475 |
nan | nan | 476 |
nan | nan | 477 |
nan | nan | 478 |
nan | nan | 479 |
nan | nan | 480 |
nan | nan | 481 |
nan | nan | 482 |
nan | nan | 483 |
nan | nan | 484 |
nan | nan | 485 |
nan | nan | 486 |
nan | nan | 487 |
nan | nan | 488 |
nan | nan | 489 |
nan | nan | 490 |
nan | nan | 491 |
nan | nan | 492 |
nan | nan | 493 |
nan | nan | 494 |
nan | nan | 495 |
nan | nan | 496 |
nan | nan | 497 |
nan | nan | 498 |
nan | nan | 499 |
Framework versions
- Transformers 4.27.0.dev0
- TensorFlow 2.9.2
- Datasets 2.9.0
- Tokenizers 0.13.2