<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->
wav2vec2-libri-train360_2-colab
This model is a fine-tuned version of GW12/wav2vec2-libri-train360-colab on the None dataset. It achieves the following results on the evaluation set:
- Loss: 0.1024
- Wer: 0.0959
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 0.0001
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 1000
- num_epochs: 4
- mixed_precision_training: Native AMP
Training results
Training Loss | Epoch | Step | Validation Loss | Wer |
---|---|---|---|---|
3.219 | 0.04 | 500 | 0.1976 | 0.1215 |
0.0762 | 0.08 | 1000 | 0.2818 | 0.1324 |
0.0824 | 0.12 | 1500 | 0.4541 | 0.1602 |
0.0807 | 0.15 | 2000 | 0.1556 | 0.1162 |
0.0799 | 0.19 | 2500 | 0.1618 | 0.1164 |
0.0826 | 0.23 | 3000 | 0.3510 | 0.1379 |
0.0809 | 0.27 | 3500 | 0.1486 | 0.1182 |
0.0854 | 0.31 | 4000 | 0.1267 | 0.1177 |
0.0817 | 0.35 | 4500 | 0.1581 | 0.1218 |
0.0835 | 0.38 | 5000 | 0.1670 | 0.1251 |
0.0841 | 0.42 | 5500 | 0.1576 | 0.1179 |
0.0798 | 0.46 | 6000 | 0.2201 | 0.1300 |
0.083 | 0.5 | 6500 | 0.1165 | 0.1179 |
0.0878 | 0.54 | 7000 | 0.2640 | 0.1430 |
0.0811 | 0.58 | 7500 | 0.1585 | 0.1288 |
0.083 | 0.62 | 8000 | 0.3127 | 0.1370 |
0.083 | 0.65 | 8500 | 0.4790 | 0.1449 |
0.0775 | 0.69 | 9000 | 0.1651 | 0.1163 |
0.0787 | 0.73 | 9500 | 1.6426 | 0.2083 |
0.0781 | 0.77 | 10000 | 0.2307 | 0.1324 |
0.0827 | 0.81 | 10500 | 0.1765 | 0.1318 |
0.0816 | 0.85 | 11000 | 0.1679 | 0.1201 |
0.0797 | 0.88 | 11500 | 0.2506 | 0.1508 |
0.0813 | 0.92 | 12000 | 0.1893 | 0.1239 |
0.0758 | 0.96 | 12500 | 0.1266 | 0.1147 |
0.091 | 1.0 | 13000 | 0.1606 | 0.1180 |
0.0677 | 1.04 | 13500 | 0.1107 | 0.1118 |
0.0733 | 1.08 | 14000 | 0.1734 | 0.1565 |
0.072 | 1.12 | 14500 | 0.1141 | 0.1126 |
0.0731 | 1.15 | 15000 | 0.1125 | 0.1112 |
0.0793 | 1.19 | 15500 | 0.1818 | 0.1146 |
0.07 | 1.23 | 16000 | 0.2678 | 0.1265 |
0.0658 | 1.27 | 16500 | 0.2909 | 0.1203 |
0.0678 | 1.31 | 17000 | 0.3241 | 0.1280 |
0.0681 | 1.35 | 17500 | 0.3243 | 0.1497 |
0.0666 | 1.38 | 18000 | 0.2056 | 0.1150 |
0.0667 | 1.42 | 18500 | 0.4678 | 0.1252 |
0.0656 | 1.46 | 19000 | 0.1603 | 0.1138 |
0.0662 | 1.5 | 19500 | 0.1554 | 0.1115 |
0.0669 | 1.54 | 20000 | 0.1215 | 0.1101 |
0.0681 | 1.58 | 20500 | 0.1118 | 0.1083 |
0.0708 | 1.62 | 21000 | 0.1743 | 0.1146 |
0.0673 | 1.65 | 21500 | 0.1509 | 0.1109 |
0.0667 | 1.69 | 22000 | 0.3411 | 0.1495 |
0.065 | 1.73 | 22500 | 0.1045 | 0.1067 |
0.0644 | 1.77 | 23000 | 0.0999 | 0.1075 |
0.0643 | 1.81 | 23500 | 0.1019 | 0.1073 |
0.0675 | 1.85 | 24000 | 0.1196 | 0.1073 |
0.0618 | 1.88 | 24500 | 0.1092 | 0.1086 |
0.0626 | 1.92 | 25000 | 0.1256 | 0.1070 |
0.0635 | 1.96 | 25500 | 0.1183 | 0.1069 |
0.0621 | 2.0 | 26000 | 0.1180 | 0.1091 |
0.0548 | 2.04 | 26500 | 0.1199 | 0.1048 |
0.0548 | 2.08 | 27000 | 0.1215 | 0.1057 |
0.0531 | 2.12 | 27500 | 0.1086 | 0.1036 |
0.0548 | 2.15 | 28000 | 0.1103 | 0.1043 |
0.054 | 2.19 | 28500 | 0.1078 | 0.1048 |
0.0521 | 2.23 | 29000 | 0.1094 | 0.1039 |
0.0534 | 2.27 | 29500 | 0.1058 | 0.1037 |
0.0539 | 2.31 | 30000 | 0.1035 | 0.1026 |
0.0516 | 2.35 | 30500 | 0.1009 | 0.1027 |
0.0525 | 2.38 | 31000 | 0.1292 | 0.1056 |
0.0501 | 2.42 | 31500 | 0.1124 | 0.1033 |
0.052 | 2.46 | 32000 | 0.1020 | 0.1028 |
0.0519 | 2.5 | 32500 | 0.1131 | 0.1038 |
0.0498 | 2.54 | 33000 | 0.1036 | 0.1031 |
0.0525 | 2.58 | 33500 | 0.0994 | 0.1005 |
0.0506 | 2.61 | 34000 | 0.1093 | 0.1015 |
0.0484 | 2.65 | 34500 | 0.1048 | 0.1005 |
0.0493 | 2.69 | 35000 | 0.1192 | 0.1028 |
0.048 | 2.73 | 35500 | 0.1208 | 0.1020 |
0.0473 | 2.77 | 36000 | 0.1410 | 0.1042 |
0.0472 | 2.81 | 36500 | 0.1382 | 0.1052 |
0.0467 | 2.85 | 37000 | 0.1118 | 0.1012 |
0.0473 | 2.88 | 37500 | 0.1032 | 0.1002 |
0.0466 | 2.92 | 38000 | 0.1041 | 0.1004 |
0.0455 | 2.96 | 38500 | 0.1056 | 0.1004 |
0.0483 | 3.0 | 39000 | 0.1091 | 0.0995 |
0.0408 | 3.04 | 39500 | 0.1170 | 0.1012 |
0.0395 | 3.08 | 40000 | 0.1106 | 0.0995 |
0.0407 | 3.11 | 40500 | 0.1075 | 0.0998 |
0.0403 | 3.15 | 41000 | 0.1129 | 0.1000 |
0.0397 | 3.19 | 41500 | 0.1062 | 0.0993 |
0.0389 | 3.23 | 42000 | 0.1072 | 0.0990 |
0.0385 | 3.27 | 42500 | 0.1032 | 0.0985 |
0.0389 | 3.31 | 43000 | 0.0989 | 0.0973 |
0.0404 | 3.35 | 43500 | 0.1031 | 0.0973 |
0.0387 | 3.38 | 44000 | 0.0998 | 0.0974 |
0.0391 | 3.42 | 44500 | 0.1000 | 0.0969 |
0.0387 | 3.46 | 45000 | 0.0982 | 0.0968 |
0.0407 | 3.5 | 45500 | 0.1057 | 0.0979 |
0.038 | 3.54 | 46000 | 0.1026 | 0.0974 |
0.0399 | 3.58 | 46500 | 0.1020 | 0.0970 |
0.0387 | 3.61 | 47000 | 0.1022 | 0.0968 |
0.0379 | 3.65 | 47500 | 0.1016 | 0.0961 |
0.0369 | 3.69 | 48000 | 0.1012 | 0.0957 |
0.0372 | 3.73 | 48500 | 0.0993 | 0.0956 |
0.0361 | 3.77 | 49000 | 0.1013 | 0.0951 |
0.0366 | 3.81 | 49500 | 0.1020 | 0.0956 |
0.0377 | 3.85 | 50000 | 0.1014 | 0.0961 |
0.0363 | 3.88 | 50500 | 0.1019 | 0.0962 |
0.0368 | 3.92 | 51000 | 0.1033 | 0.0963 |
0.0381 | 3.96 | 51500 | 0.1026 | 0.0960 |
0.0364 | 4.0 | 52000 | 0.1024 | 0.0959 |
Framework versions
- Transformers 4.24.0
- Pytorch 1.12.1
- Datasets 2.6.1
- Tokenizers 0.11.0