<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->
wav2vec2-libri-train360-colab
This model is a fine-tuned version of GW12/wav2vec2-libri-train100-colab on the None dataset. It achieves the following results on the evaluation set:
- Loss: 0.1101
- Wer: 0.1002
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 0.0001
- train_batch_size: 4
- eval_batch_size: 4
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 1000
- num_epochs: 4
- mixed_precision_training: Native AMP
Training results
Training Loss | Epoch | Step | Validation Loss | Wer |
---|---|---|---|---|
3.1196 | 0.02 | 500 | 0.2020 | 0.1494 |
0.1695 | 0.04 | 1000 | 0.1600 | 0.1462 |
0.1726 | 0.06 | 1500 | 0.1996 | 0.1457 |
0.1654 | 0.08 | 2000 | 0.1531 | 0.1448 |
0.1665 | 0.1 | 2500 | 0.1582 | 0.1491 |
0.1555 | 0.12 | 3000 | 0.1566 | 0.1478 |
0.1562 | 0.13 | 3500 | 0.1555 | 0.1501 |
0.1604 | 0.15 | 4000 | 0.1465 | 0.1422 |
0.1522 | 0.17 | 4500 | 0.1423 | 0.1452 |
0.1534 | 0.19 | 5000 | 0.1375 | 0.1431 |
0.1576 | 0.21 | 5500 | 0.1872 | 0.1421 |
0.1543 | 0.23 | 6000 | 0.1547 | 0.1381 |
0.1501 | 0.25 | 6500 | 0.1446 | 0.1381 |
0.1508 | 0.27 | 7000 | 0.2108 | 0.1507 |
0.1479 | 0.29 | 7500 | 0.1495 | 0.1364 |
0.1474 | 0.31 | 8000 | 0.1571 | 0.1406 |
0.1475 | 0.33 | 8500 | 0.1570 | 0.1390 |
0.1453 | 0.35 | 9000 | 0.1547 | 0.1377 |
0.1465 | 0.37 | 9500 | 0.1633 | 0.1336 |
0.1424 | 0.38 | 10000 | 0.1344 | 0.1358 |
0.1417 | 0.4 | 10500 | 0.2518 | 0.1515 |
0.1427 | 0.42 | 11000 | 0.1697 | 0.1409 |
0.1434 | 0.44 | 11500 | 0.1649 | 0.1373 |
0.1384 | 0.46 | 12000 | 0.1743 | 0.1403 |
0.1394 | 0.48 | 12500 | 0.1485 | 0.1407 |
0.1392 | 0.5 | 13000 | 0.1421 | 0.1352 |
2.3614 | 0.52 | 13500 | 0.9494 | 0.1673 |
0.1621 | 0.54 | 14000 | 0.4273 | 0.1539 |
0.1454 | 0.56 | 14500 | 0.1764 | 0.1399 |
0.1453 | 0.58 | 15000 | 0.1750 | 0.1414 |
0.1375 | 0.6 | 15500 | 0.1845 | 0.1410 |
0.1436 | 0.62 | 16000 | 0.1583 | 0.1413 |
0.1405 | 0.63 | 16500 | 0.1893 | 0.1413 |
0.139 | 0.65 | 17000 | 0.2281 | 0.1619 |
0.1374 | 0.67 | 17500 | 0.1863 | 0.1413 |
0.1386 | 0.69 | 18000 | 0.2301 | 0.1479 |
0.1435 | 0.71 | 18500 | 0.2349 | 0.1579 |
0.1293 | 0.73 | 19000 | 0.1878 | 0.1461 |
0.1311 | 0.75 | 19500 | 0.2092 | 0.1342 |
0.1357 | 0.77 | 20000 | 0.1788 | 0.1421 |
0.1258 | 0.79 | 20500 | 0.1336 | 0.1302 |
0.1284 | 0.81 | 21000 | 0.1459 | 0.1306 |
0.1452 | 0.83 | 21500 | 0.1316 | 0.1319 |
0.1241 | 0.85 | 22000 | 0.1497 | 0.1285 |
0.1292 | 0.87 | 22500 | 0.1417 | 0.1318 |
0.1255 | 0.88 | 23000 | 0.1262 | 0.1305 |
0.1239 | 0.9 | 23500 | 0.1417 | 0.1302 |
0.1237 | 0.92 | 24000 | 0.1704 | 0.1309 |
0.1231 | 0.94 | 24500 | 0.1466 | 0.1308 |
0.1303 | 0.96 | 25000 | 0.2085 | 0.1392 |
0.1252 | 0.98 | 25500 | 0.1514 | 0.1441 |
0.1244 | 1.0 | 26000 | 0.1353 | 0.1282 |
0.1034 | 1.02 | 26500 | 0.1306 | 0.1279 |
0.1035 | 1.04 | 27000 | 0.1785 | 0.1288 |
0.1063 | 1.06 | 27500 | 0.1742 | 0.1311 |
0.1065 | 1.08 | 28000 | 0.1505 | 0.1269 |
0.1093 | 1.1 | 28500 | 0.1394 | 0.1264 |
0.1115 | 1.12 | 29000 | 0.1490 | 0.1325 |
0.1044 | 1.13 | 29500 | 0.5477 | 0.1736 |
0.1003 | 1.15 | 30000 | 0.2347 | 0.1351 |
0.1049 | 1.17 | 30500 | 0.2001 | 0.1347 |
0.1068 | 1.19 | 31000 | 0.1528 | 0.1255 |
0.1069 | 1.21 | 31500 | 0.1528 | 0.1266 |
0.1042 | 1.23 | 32000 | 0.2272 | 0.1318 |
0.1073 | 1.25 | 32500 | 0.5753 | 0.1869 |
0.1021 | 1.27 | 33000 | 0.3459 | 0.1477 |
0.1023 | 1.29 | 33500 | 0.2412 | 0.1362 |
0.0988 | 1.31 | 34000 | 0.2124 | 0.1319 |
0.1047 | 1.33 | 34500 | 0.3733 | 0.1497 |
0.1078 | 1.35 | 35000 | 0.1553 | 0.1281 |
0.0988 | 1.37 | 35500 | 0.1364 | 0.1239 |
0.0957 | 1.38 | 36000 | 0.1484 | 0.1278 |
0.1038 | 1.4 | 36500 | 0.1723 | 0.1253 |
0.1001 | 1.42 | 37000 | 0.3668 | 0.1648 |
0.101 | 1.44 | 37500 | 0.2136 | 0.1339 |
0.1022 | 1.46 | 38000 | 0.1140 | 0.1162 |
0.0989 | 1.48 | 38500 | 0.1628 | 0.1265 |
0.0982 | 1.5 | 39000 | 0.2204 | 0.1376 |
0.1012 | 1.52 | 39500 | 0.1716 | 0.1297 |
0.1067 | 1.54 | 40000 | 0.1362 | 0.1234 |
0.1022 | 1.56 | 40500 | 0.1170 | 0.1178 |
0.1011 | 1.58 | 41000 | 0.1578 | 0.1240 |
0.0845 | 1.6 | 41500 | 0.1659 | 0.1243 |
0.0929 | 1.62 | 42000 | 0.1813 | 0.1310 |
0.0904 | 1.63 | 42500 | 0.1309 | 0.1215 |
0.0885 | 1.65 | 43000 | 0.1964 | 0.1359 |
0.0895 | 1.67 | 43500 | 0.1309 | 0.1179 |
0.0855 | 1.69 | 44000 | 0.1472 | 0.1258 |
0.0876 | 1.71 | 44500 | 0.1189 | 0.1190 |
0.0925 | 1.73 | 45000 | 0.1477 | 0.1209 |
0.0866 | 1.75 | 45500 | 0.2537 | 0.1428 |
0.0938 | 1.77 | 46000 | 0.1406 | 0.1240 |
0.0901 | 1.79 | 46500 | 0.1416 | 0.1201 |
0.0839 | 1.81 | 47000 | 0.1323 | 0.1201 |
0.0866 | 1.83 | 47500 | 0.1176 | 0.1149 |
0.0876 | 1.85 | 48000 | 0.1141 | 0.1139 |
0.0857 | 1.87 | 48500 | 0.2148 | 0.1297 |
0.089 | 1.88 | 49000 | 0.1707 | 0.1231 |
0.0861 | 1.9 | 49500 | 0.1457 | 0.1183 |
0.0855 | 1.92 | 50000 | 0.4576 | 0.1654 |
0.0808 | 1.94 | 50500 | 0.2264 | 0.1285 |
0.0859 | 1.96 | 51000 | 0.1630 | 0.1201 |
0.0859 | 1.98 | 51500 | 0.1613 | 0.1165 |
0.086 | 2.0 | 52000 | 0.1529 | 0.1196 |
0.0769 | 2.02 | 52500 | 0.1258 | 0.1139 |
0.0783 | 2.04 | 53000 | 0.1105 | 0.1136 |
0.0775 | 2.06 | 53500 | 0.1177 | 0.1128 |
0.08 | 2.08 | 54000 | 0.1328 | 0.1156 |
0.0765 | 2.1 | 54500 | 0.1229 | 0.1137 |
0.0791 | 2.12 | 55000 | 0.1218 | 0.1121 |
0.0831 | 2.13 | 55500 | 0.1106 | 0.1135 |
0.0769 | 2.15 | 56000 | 0.1466 | 0.1166 |
0.0761 | 2.17 | 56500 | 0.1177 | 0.1126 |
0.0779 | 2.19 | 57000 | 0.1249 | 0.1120 |
0.0749 | 2.21 | 57500 | 0.1258 | 0.1130 |
0.0746 | 2.23 | 58000 | 0.1268 | 0.1122 |
0.074 | 2.25 | 58500 | 0.1141 | 0.1153 |
0.0726 | 2.27 | 59000 | 0.1231 | 0.1107 |
0.0771 | 2.29 | 59500 | 0.1393 | 0.1125 |
0.0776 | 2.31 | 60000 | 0.1224 | 0.1115 |
0.0756 | 2.33 | 60500 | 0.1071 | 0.1085 |
0.0753 | 2.35 | 61000 | 0.1072 | 0.1089 |
0.0698 | 2.37 | 61500 | 0.1129 | 0.1094 |
0.0726 | 2.38 | 62000 | 0.1109 | 0.1106 |
0.0758 | 2.4 | 62500 | 0.1052 | 0.1103 |
0.0743 | 2.42 | 63000 | 0.1079 | 0.1106 |
0.0765 | 2.44 | 63500 | 0.1248 | 0.1108 |
0.0724 | 2.46 | 64000 | 0.1248 | 0.1076 |
0.0659 | 2.48 | 64500 | 0.1099 | 0.1088 |
0.0674 | 2.5 | 65000 | 0.1156 | 0.1098 |
0.0691 | 2.52 | 65500 | 0.1122 | 0.1093 |
0.0677 | 2.54 | 66000 | 0.1228 | 0.1082 |
0.0695 | 2.56 | 66500 | 0.1049 | 0.1066 |
0.0687 | 2.58 | 67000 | 0.1025 | 0.1062 |
0.0682 | 2.6 | 67500 | 0.1080 | 0.1064 |
0.0663 | 2.61 | 68000 | 0.1009 | 0.1058 |
0.0654 | 2.63 | 68500 | 0.1145 | 0.1071 |
0.0641 | 2.65 | 69000 | 0.1178 | 0.1082 |
0.0662 | 2.67 | 69500 | 0.1106 | 0.1084 |
0.0623 | 2.69 | 70000 | 0.1086 | 0.1057 |
0.0692 | 2.71 | 70500 | 0.1048 | 0.1071 |
0.0663 | 2.73 | 71000 | 0.1119 | 0.1069 |
0.0639 | 2.75 | 71500 | 0.1147 | 0.1062 |
0.0597 | 2.77 | 72000 | 0.1121 | 0.1072 |
0.0688 | 2.79 | 72500 | 0.1149 | 0.1060 |
0.0616 | 2.81 | 73000 | 0.1126 | 0.1069 |
0.0633 | 2.83 | 73500 | 0.1302 | 0.1074 |
0.0651 | 2.85 | 74000 | 0.1260 | 0.1066 |
0.0637 | 2.86 | 74500 | 0.1233 | 0.1075 |
0.0641 | 2.88 | 75000 | 0.1199 | 0.1066 |
0.0655 | 2.9 | 75500 | 0.1249 | 0.1075 |
0.065 | 2.92 | 76000 | 0.1192 | 0.1061 |
0.0626 | 2.94 | 76500 | 0.1267 | 0.1069 |
0.0622 | 2.96 | 77000 | 0.1289 | 0.1094 |
0.0608 | 2.98 | 77500 | 0.1502 | 0.1096 |
0.0631 | 3.0 | 78000 | 0.1493 | 0.1099 |
0.0535 | 3.02 | 78500 | 0.1220 | 0.1064 |
0.0582 | 3.04 | 79000 | 0.1274 | 0.1077 |
0.052 | 3.06 | 79500 | 0.1296 | 0.1072 |
0.0562 | 3.08 | 80000 | 0.1160 | 0.1050 |
0.0533 | 3.1 | 80500 | 0.1066 | 0.1031 |
0.0564 | 3.11 | 81000 | 0.1300 | 0.1078 |
0.0589 | 3.13 | 81500 | 0.1167 | 0.1056 |
0.0582 | 3.15 | 82000 | 0.1129 | 0.1025 |
0.0594 | 3.17 | 82500 | 0.1255 | 0.1054 |
0.0559 | 3.19 | 83000 | 0.1258 | 0.1045 |
0.0535 | 3.21 | 83500 | 0.1150 | 0.1029 |
0.0538 | 3.23 | 84000 | 0.1043 | 0.1017 |
0.0537 | 3.25 | 84500 | 0.1073 | 0.1028 |
0.0534 | 3.27 | 85000 | 0.1011 | 0.1011 |
0.0527 | 3.29 | 85500 | 0.0987 | 0.1010 |
0.0549 | 3.31 | 86000 | 0.1008 | 0.1015 |
0.0516 | 3.33 | 86500 | 0.1031 | 0.1017 |
0.0549 | 3.35 | 87000 | 0.1103 | 0.1028 |
0.056 | 3.36 | 87500 | 0.0980 | 0.1008 |
0.0528 | 3.38 | 88000 | 0.1045 | 0.1020 |
0.0555 | 3.4 | 88500 | 0.0979 | 0.1005 |
0.0517 | 3.42 | 89000 | 0.0948 | 0.0992 |
0.0495 | 3.44 | 89500 | 0.0974 | 0.1002 |
0.0496 | 3.46 | 90000 | 0.1035 | 0.1013 |
0.0497 | 3.48 | 90500 | 0.1167 | 0.1035 |
0.0485 | 3.5 | 91000 | 0.1098 | 0.1009 |
0.0465 | 3.52 | 91500 | 0.1168 | 0.1009 |
0.05 | 3.54 | 92000 | 0.1088 | 0.1005 |
0.0514 | 3.56 | 92500 | 0.1116 | 0.1000 |
0.0467 | 3.58 | 93000 | 0.1053 | 0.0998 |
0.045 | 3.6 | 93500 | 0.1099 | 0.1012 |
0.0507 | 3.61 | 94000 | 0.1186 | 0.1012 |
0.0452 | 3.63 | 94500 | 0.1119 | 0.0998 |
0.0452 | 3.65 | 95000 | 0.1099 | 0.1002 |
0.0452 | 3.67 | 95500 | 0.1228 | 0.1015 |
0.0448 | 3.69 | 96000 | 0.1271 | 0.1025 |
0.0485 | 3.71 | 96500 | 0.1338 | 0.1037 |
0.048 | 3.73 | 97000 | 0.1288 | 0.1030 |
0.0476 | 3.75 | 97500 | 0.1183 | 0.1012 |
0.0457 | 3.77 | 98000 | 0.1171 | 0.1007 |
0.0492 | 3.79 | 98500 | 0.1142 | 0.1004 |
0.049 | 3.81 | 99000 | 0.1141 | 0.1006 |
0.046 | 3.83 | 99500 | 0.1165 | 0.1007 |
0.0444 | 3.85 | 100000 | 0.1173 | 0.1010 |
0.0456 | 3.86 | 100500 | 0.1150 | 0.1004 |
0.0467 | 3.88 | 101000 | 0.1130 | 0.1003 |
0.0465 | 3.9 | 101500 | 0.1137 | 0.1003 |
0.0451 | 3.92 | 102000 | 0.1127 | 0.1004 |
0.0445 | 3.94 | 102500 | 0.1118 | 0.1003 |
0.0453 | 3.96 | 103000 | 0.1112 | 0.1002 |
0.0458 | 3.98 | 103500 | 0.1103 | 0.1002 |
0.0454 | 4.0 | 104000 | 0.1101 | 0.1002 |
Framework versions
- Transformers 4.11.3
- Pytorch 1.10.0
- Datasets 1.13.3
- Tokenizers 0.10.3