generated_from_trainer

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

wav2vec2-xls-r-300m-ja-cv-14_4

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the audiofolder dataset. It achieves the following results on the evaluation set:

Model description

More information needed

Usage

The model can be used directly (without a language model) as follows...

Using the HuggingSound library:

from huggingsound import SpeechRecognitionModel

model = SpeechRecognitionModel("pinot/wav2vec2-xls-r-300m-ja-cv-14_4")
audio_paths = ["/path/to/file.mp3", "/path/to/another_file.wav"]

transcriptions = model.transcribe(audio_paths)

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

Training results

Training Loss Epoch Step Validation Loss Wer
8.3105 0.37 2000 1.9407 0.5234
1.6271 0.75 4000 1.1355 0.3500
1.1075 1.12 6000 0.8428 0.2740
0.8659 1.49 8000 0.7523 0.2491
0.7568 1.87 10000 0.6115 0.2097
0.6269 2.24 12000 0.5771 0.1973
0.5631 2.61 14000 0.5204 0.1713
0.5197 2.99 16000 0.4896 0.1635
0.4218 3.36 18000 0.4506 0.1554
0.4069 3.73 20000 0.4684 0.1579
0.3629 4.1 22000 0.4190 0.1408
0.324 4.48 24000 0.3981 0.1337
0.3168 4.85 26000 0.3947 0.1310
0.2845 5.22 28000 0.3974 0.1266
0.2714 5.6 30000 0.3703 0.1166
0.2626 5.97 32000 0.3711 0.1173
0.2274 6.34 34000 0.3991 0.1254
0.2251 6.72 36000 0.3844 0.1159
0.2132 7.09 38000 0.3480 0.1088
0.1867 7.46 40000 0.3330 0.1045
0.1929 7.84 42000 0.3320 0.1054
0.1663 8.21 44000 0.3492 0.1116
0.1668 8.58 46000 0.3580 0.1045
0.1641 8.96 48000 0.2957 0.0920
0.1494 9.33 50000 0.3281 0.0990
0.1495 9.7 52000 0.3155 0.0948
0.1454 10.07 54000 0.3297 0.0994
0.1323 10.45 56000 0.3151 0.0946
0.1321 10.82 58000 0.3073 0.0901
0.1263 11.19 60000 0.2979 0.0887
0.1165 11.57 62000 0.3122 0.0968
0.1179 11.94 64000 0.2941 0.0892
0.107 12.31 66000 0.2907 0.0847
0.1037 12.69 68000 0.2964 0.0851
0.105 13.06 70000 0.2777 0.0820
0.0942 13.43 72000 0.2758 0.0783
0.0977 13.81 74000 0.2706 0.0768
0.0931 14.18 76000 0.2638 0.0755
0.0881 14.55 78000 0.2835 0.0771
0.0861 14.93 80000 0.2704 0.0776
0.0834 15.3 82000 0.2619 0.0765
0.079 15.67 84000 0.2583 0.0759
0.0783 16.04 86000 0.2459 0.0724
0.0753 16.42 88000 0.2647 0.0793
0.0739 16.79 90000 0.2375 0.0696
0.0721 17.16 92000 0.2432 0.0702
0.0687 17.54 94000 0.2269 0.0675
0.0685 17.91 96000 0.2516 0.0724
0.066 18.28 98000 0.2372 0.0679
0.0631 18.66 100000 0.2417 0.0670
0.0626 19.03 102000 0.2416 0.0676
0.0583 19.4 104000 0.2491 0.0696
0.0575 19.78 106000 0.2445 0.0675
0.0545 20.15 108000 0.2320 0.0635
0.0517 20.52 110000 0.2312 0.0647
0.0514 20.9 112000 0.2511 0.0676
0.0499 21.27 114000 0.2299 0.0663
0.0486 21.64 116000 0.2400 0.0635
0.0467 22.01 118000 0.2318 0.0624
0.0441 22.39 120000 0.2221 0.0599
0.0441 22.76 122000 0.2359 0.0630
0.0427 23.13 124000 0.2220 0.0603
0.0412 23.51 126000 0.2345 0.0608
0.041 23.88 128000 0.2292 0.0598
0.0386 24.25 130000 0.2342 0.0615
0.0376 24.63 132000 0.2291 0.0612
0.0385 25.0 134000 0.2231 0.0631
0.0347 25.37 136000 0.2196 0.0616
0.035 25.75 138000 0.2147 0.0608
0.0328 26.12 140000 0.2216 0.0616
0.0318 26.49 142000 0.2195 0.0587
0.0315 26.87 144000 0.2216 0.0594
0.0303 27.24 146000 0.2126 0.0591
0.0292 27.61 148000 0.2126 0.0563
0.0291 27.99 150000 0.2134 0.0574
0.0275 28.36 152000 0.2187 0.0583
0.0281 28.73 154000 0.2098 0.0571
0.0257 29.1 156000 0.2086 0.0564
0.0261 29.48 158000 0.2071 0.0568
0.0247 29.85 160000 0.2072 0.0564
Reference Prediction
木村 さん は わたし に 写真 を 見せ て くれ まし た 木村 さん は わたし に 写真 を 見せ て くれ まし た
田中 さん の 奥さん は 大学 の 先生 です 田中 さん の 奥さん は 大学 の 先生 です
わたし は 松井 さん が 書い た 作文 を 読み まし た わたし は 松井 さん が 書い た 作文 を 読み まし た
木村 さん に 電話 を 貸し て もらい まし た 木村 さん に 電話 を 貸し て もらい まし た
森永 の おいしい 牛乳 は 濃い 青色 に 牛乳 瓶 を あしらっ た デザイン の パック 牛乳 で ある 森永 の おいしい 牛乳 は 濃い 青色 に 牛乳 瓶 を あしらっ た デザイン の パック 牛乳 で ある
きのう は 八 時間 寝 まし た きのう は 八 時間 寝 まし た
田中 さん の 右 に 山田 さん が い ます 田中 さん の 右 に 山田 さん が い ます
日本人 は 決して ユーモア と 無縁 な 人種 で は なかっ た 日本人 は 決して ユーモア と 無縁 な 人種 で は なかっ た
ユーモア と は 高慢 この うえ ない 解毒 剤 だ ユーモア と は 高慢 この うえ ない 解毒 剤 だ
わたし は 静か で きれい な 所 に 住み たい です わたし は 静か で きれい な 所 に 住み たい です

Evaluation

The model can be evaluated as follows on the Japanese test data of Common Voice.

Test Result:

In the table below I report the Word Error Rate (WER) and the Character Error Rate (CER) of the model.

test data WER CER
Common Voice 8.0 5.7% 3.0%

Framework versions