<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->
wav2vec2-libri-train500-colab
This model is a fine-tuned version of GW12/wav2vec2-libri-train360_2-colab on the None dataset. It achieves the following results on the evaluation set:
- Loss: 0.2348
- Wer: 0.1600
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 0.0001
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 1000
- num_epochs: 5
- mixed_precision_training: Native AMP
Training results
Training Loss | Epoch | Step | Validation Loss | Wer |
---|---|---|---|---|
0.1452 | 0.03 | 500 | 0.2791 | 0.1920 |
0.1544 | 0.05 | 1000 | 0.2897 | 0.1980 |
0.1654 | 0.08 | 1500 | 0.3320 | 0.2121 |
0.1807 | 0.11 | 2000 | 0.3317 | 0.2182 |
0.1697 | 0.13 | 2500 | 0.3250 | 0.2124 |
0.1761 | 0.16 | 3000 | 0.3158 | 0.2102 |
0.1697 | 0.19 | 3500 | 0.3335 | 0.2114 |
0.169 | 0.22 | 4000 | 0.3160 | 0.2168 |
0.1715 | 0.24 | 4500 | 0.2950 | 0.2105 |
0.1666 | 0.27 | 5000 | 0.2936 | 0.2079 |
0.1734 | 0.3 | 5500 | 0.3106 | 0.2098 |
0.1664 | 0.32 | 6000 | 0.2997 | 0.2048 |
0.1688 | 0.35 | 6500 | 0.3352 | 0.2123 |
0.1641 | 0.38 | 7000 | 0.3181 | 0.2069 |
0.1709 | 0.4 | 7500 | 0.2950 | 0.2049 |
0.1601 | 0.43 | 8000 | 0.2976 | 0.2041 |
0.1616 | 0.46 | 8500 | 0.3217 | 0.2051 |
0.158 | 0.48 | 9000 | 0.3133 | 0.2110 |
0.1635 | 0.51 | 9500 | 0.3158 | 0.2081 |
0.1555 | 0.54 | 10000 | 0.3234 | 0.2130 |
0.166 | 0.56 | 10500 | 0.3494 | 0.2183 |
0.1606 | 0.59 | 11000 | 0.2910 | 0.2020 |
0.1607 | 0.62 | 11500 | 0.3231 | 0.2103 |
0.1629 | 0.65 | 12000 | 0.2999 | 0.2048 |
0.1604 | 0.67 | 12500 | 0.3150 | 0.2029 |
0.1555 | 0.7 | 13000 | 0.3163 | 0.2062 |
0.1577 | 0.73 | 13500 | 0.3695 | 0.2138 |
0.1609 | 0.75 | 14000 | 0.3334 | 0.2048 |
0.155 | 0.78 | 14500 | 0.2887 | 0.2004 |
0.1549 | 0.81 | 15000 | 0.3375 | 0.2069 |
0.1537 | 0.83 | 15500 | 0.2979 | 0.2038 |
0.1515 | 0.86 | 16000 | 0.2683 | 0.1984 |
0.1548 | 0.89 | 16500 | 0.2873 | 0.2016 |
0.152 | 0.91 | 17000 | 0.3142 | 0.2010 |
0.1501 | 0.94 | 17500 | 0.2751 | 0.1963 |
0.1511 | 0.97 | 18000 | 0.2951 | 0.1988 |
0.1465 | 1.0 | 18500 | 0.2909 | 0.1969 |
0.1333 | 1.02 | 19000 | 0.2910 | 0.1951 |
0.1289 | 1.05 | 19500 | 0.3146 | 0.1931 |
0.1283 | 1.08 | 20000 | 0.2859 | 0.1916 |
0.1306 | 1.1 | 20500 | 0.2870 | 0.1923 |
0.131 | 1.13 | 21000 | 0.2864 | 0.1929 |
0.1268 | 1.16 | 21500 | 0.2850 | 0.1929 |
0.1298 | 1.18 | 22000 | 0.2780 | 0.1908 |
0.1253 | 1.21 | 22500 | 0.2775 | 0.1924 |
0.1285 | 1.24 | 23000 | 0.3637 | 0.2051 |
0.1238 | 1.26 | 23500 | 0.2821 | 0.1914 |
0.13 | 1.29 | 24000 | 0.3083 | 0.1954 |
0.1333 | 1.32 | 24500 | 0.3033 | 0.1937 |
0.1281 | 1.35 | 25000 | 0.2995 | 0.1947 |
0.122 | 1.37 | 25500 | 0.3041 | 0.1935 |
0.127 | 1.4 | 26000 | 0.3235 | 0.1976 |
0.1254 | 1.43 | 26500 | 0.3084 | 0.1917 |
0.128 | 1.45 | 27000 | 0.3172 | 0.1952 |
0.1212 | 1.48 | 27500 | 0.2766 | 0.1898 |
0.1248 | 1.51 | 28000 | 0.2936 | 0.1905 |
0.1225 | 1.53 | 28500 | 0.2746 | 0.1872 |
0.1245 | 1.56 | 29000 | 0.2790 | 0.1886 |
0.1278 | 1.59 | 29500 | 0.2785 | 0.1895 |
0.1251 | 1.61 | 30000 | 0.2583 | 0.1867 |
0.1186 | 1.64 | 30500 | 0.2899 | 0.1894 |
0.1244 | 1.67 | 31000 | 0.2671 | 0.1850 |
0.1221 | 1.69 | 31500 | 0.2681 | 0.1877 |
0.1202 | 1.72 | 32000 | 0.2763 | 0.1893 |
0.1275 | 1.75 | 32500 | 0.2701 | 0.1880 |
0.1221 | 1.78 | 33000 | 0.2593 | 0.1855 |
0.1214 | 1.8 | 33500 | 0.2548 | 0.1819 |
0.1247 | 1.83 | 34000 | 0.2758 | 0.1856 |
0.1216 | 1.86 | 34500 | 0.2635 | 0.1878 |
0.1185 | 1.88 | 35000 | 0.2645 | 0.1824 |
0.1193 | 1.91 | 35500 | 0.2583 | 0.1830 |
0.1192 | 1.94 | 36000 | 0.2548 | 0.1828 |
0.1168 | 1.96 | 36500 | 0.2534 | 0.1849 |
0.1195 | 1.99 | 37000 | 0.2717 | 0.1888 |
0.1174 | 2.02 | 37500 | 0.2632 | 0.1843 |
0.1005 | 2.04 | 38000 | 0.2620 | 0.1852 |
0.1021 | 2.07 | 38500 | 0.2776 | 0.1837 |
0.0989 | 2.1 | 39000 | 0.2785 | 0.1830 |
0.098 | 2.13 | 39500 | 0.2670 | 0.1822 |
0.1018 | 2.15 | 40000 | 0.2623 | 0.1795 |
0.1029 | 2.18 | 40500 | 0.2639 | 0.1800 |
0.1082 | 2.21 | 41000 | 0.2699 | 0.1807 |
0.1101 | 2.23 | 41500 | 0.2800 | 0.1847 |
0.1021 | 2.26 | 42000 | 0.2768 | 0.1839 |
0.1029 | 2.29 | 42500 | 0.2942 | 0.1844 |
0.1027 | 2.31 | 43000 | 0.3192 | 0.1859 |
0.1024 | 2.34 | 43500 | 0.3340 | 0.1874 |
0.1031 | 2.37 | 44000 | 0.2795 | 0.1830 |
0.1012 | 2.39 | 44500 | 0.2775 | 0.1830 |
0.1003 | 2.42 | 45000 | 0.2723 | 0.1838 |
0.0961 | 2.45 | 45500 | 0.2869 | 0.1878 |
0.1038 | 2.47 | 46000 | 0.2918 | 0.1840 |
0.0984 | 2.5 | 46500 | 0.2986 | 0.1844 |
0.0965 | 2.53 | 47000 | 0.2746 | 0.1826 |
0.0963 | 2.56 | 47500 | 0.2885 | 0.1844 |
0.097 | 2.58 | 48000 | 0.2803 | 0.1821 |
0.0992 | 2.61 | 48500 | 0.2800 | 0.1797 |
0.0941 | 2.64 | 49000 | 0.2614 | 0.1789 |
0.1064 | 2.66 | 49500 | 0.2454 | 0.1784 |
0.0981 | 2.69 | 50000 | 0.2455 | 0.1769 |
0.0984 | 2.72 | 50500 | 0.2692 | 0.1799 |
0.0982 | 2.74 | 51000 | 0.2425 | 0.1783 |
0.0984 | 2.77 | 51500 | 0.2459 | 0.1763 |
0.0985 | 2.8 | 52000 | 0.2561 | 0.1771 |
0.0984 | 2.82 | 52500 | 0.2516 | 0.1754 |
0.098 | 2.85 | 53000 | 0.2452 | 0.1754 |
0.0931 | 2.88 | 53500 | 0.2487 | 0.1771 |
0.0985 | 2.91 | 54000 | 0.2424 | 0.1746 |
0.0923 | 2.93 | 54500 | 0.2479 | 0.1734 |
0.0986 | 2.96 | 55000 | 0.2488 | 0.1756 |
0.0936 | 2.99 | 55500 | 0.2400 | 0.1745 |
0.087 | 3.01 | 56000 | 0.2444 | 0.1735 |
0.0817 | 3.04 | 56500 | 0.2434 | 0.1730 |
0.0806 | 3.07 | 57000 | 0.2526 | 0.1756 |
0.0774 | 3.09 | 57500 | 0.2596 | 0.1742 |
0.0827 | 3.12 | 58000 | 0.2394 | 0.1728 |
0.0832 | 3.15 | 58500 | 0.2499 | 0.1722 |
0.0886 | 3.17 | 59000 | 0.2841 | 0.1780 |
0.0817 | 3.2 | 59500 | 0.2702 | 0.1786 |
0.0881 | 3.23 | 60000 | 0.2594 | 0.1763 |
0.0809 | 3.26 | 60500 | 0.2565 | 0.1747 |
0.087 | 3.28 | 61000 | 0.2543 | 0.1730 |
0.0861 | 3.31 | 61500 | 0.2639 | 0.1760 |
0.085 | 3.34 | 62000 | 0.2565 | 0.1727 |
0.078 | 3.36 | 62500 | 0.2595 | 0.1712 |
0.081 | 3.39 | 63000 | 0.2508 | 0.1746 |
0.0824 | 3.42 | 63500 | 0.2525 | 0.1739 |
0.0792 | 3.44 | 64000 | 0.2664 | 0.1755 |
0.081 | 3.47 | 64500 | 0.3069 | 0.1901 |
0.0822 | 3.5 | 65000 | 0.2479 | 0.1705 |
0.0794 | 3.52 | 65500 | 0.2430 | 0.1732 |
0.0792 | 3.55 | 66000 | 0.2476 | 0.1718 |
0.0809 | 3.58 | 66500 | 0.2540 | 0.1714 |
0.0788 | 3.6 | 67000 | 0.2549 | 0.1722 |
0.0779 | 3.63 | 67500 | 0.2574 | 0.1724 |
0.0764 | 3.66 | 68000 | 0.2524 | 0.1712 |
0.0761 | 3.69 | 68500 | 0.2583 | 0.1712 |
0.0737 | 3.71 | 69000 | 0.2484 | 0.1675 |
0.0821 | 3.74 | 69500 | 0.2408 | 0.1669 |
0.0766 | 3.77 | 70000 | 0.2417 | 0.1673 |
0.0775 | 3.79 | 70500 | 0.2362 | 0.1676 |
0.0749 | 3.82 | 71000 | 0.2393 | 0.1666 |
0.0751 | 3.85 | 71500 | 0.2331 | 0.1667 |
0.0737 | 3.87 | 72000 | 0.2415 | 0.1659 |
0.0753 | 3.9 | 72500 | 0.2395 | 0.1680 |
0.0757 | 3.93 | 73000 | 0.2439 | 0.1689 |
0.0745 | 3.95 | 73500 | 0.2390 | 0.1668 |
0.0748 | 3.98 | 74000 | 0.2344 | 0.1662 |
0.072 | 4.01 | 74500 | 0.2522 | 0.1673 |
0.0673 | 4.04 | 75000 | 0.2469 | 0.1668 |
0.0633 | 4.06 | 75500 | 0.2511 | 0.1661 |
0.0625 | 4.09 | 76000 | 0.2428 | 0.1660 |
0.063 | 4.12 | 76500 | 0.2447 | 0.1644 |
0.0653 | 4.14 | 77000 | 0.2490 | 0.1647 |
0.0641 | 4.17 | 77500 | 0.2467 | 0.1656 |
0.0658 | 4.2 | 78000 | 0.2436 | 0.1641 |
0.0608 | 4.22 | 78500 | 0.2439 | 0.1645 |
0.0653 | 4.25 | 79000 | 0.2472 | 0.1653 |
0.0625 | 4.28 | 79500 | 0.2496 | 0.1633 |
0.0634 | 4.3 | 80000 | 0.2511 | 0.1654 |
0.061 | 4.33 | 80500 | 0.2445 | 0.1639 |
0.0626 | 4.36 | 81000 | 0.2462 | 0.1648 |
0.062 | 4.39 | 81500 | 0.2486 | 0.1649 |
0.0625 | 4.41 | 82000 | 0.2473 | 0.1632 |
0.0644 | 4.44 | 82500 | 0.2444 | 0.1634 |
0.0603 | 4.47 | 83000 | 0.2456 | 0.1634 |
0.0613 | 4.49 | 83500 | 0.2434 | 0.1634 |
0.0648 | 4.52 | 84000 | 0.2399 | 0.1630 |
0.0611 | 4.55 | 84500 | 0.2436 | 0.1627 |
0.0625 | 4.57 | 85000 | 0.2408 | 0.1619 |
0.0604 | 4.6 | 85500 | 0.2376 | 0.1615 |
0.0624 | 4.63 | 86000 | 0.2380 | 0.1618 |
0.0626 | 4.65 | 86500 | 0.2359 | 0.1617 |
0.0614 | 4.68 | 87000 | 0.2332 | 0.1610 |
0.0618 | 4.71 | 87500 | 0.2342 | 0.1612 |
0.0654 | 4.73 | 88000 | 0.2341 | 0.1605 |
0.0603 | 4.76 | 88500 | 0.2347 | 0.1603 |
0.0608 | 4.79 | 89000 | 0.2372 | 0.1602 |
0.0608 | 4.82 | 89500 | 0.2357 | 0.1601 |
0.0607 | 4.84 | 90000 | 0.2348 | 0.1602 |
0.0601 | 4.87 | 90500 | 0.2366 | 0.1603 |
0.0605 | 4.9 | 91000 | 0.2356 | 0.1599 |
0.0604 | 4.92 | 91500 | 0.2353 | 0.1597 |
0.0616 | 4.95 | 92000 | 0.2337 | 0.1598 |
0.0572 | 4.98 | 92500 | 0.2348 | 0.1600 |
Framework versions
- Transformers 4.24.0
- Pytorch 1.12.1
- Datasets 2.6.1
- Tokenizers 0.11.0