<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->
LayoutXLM_model_WS_CV
This model is a fine-tuned version of microsoft/layoutxlm-base on the None dataset. It achieves the following results on the evaluation set:
- Loss: 0.6223
- Ame: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22}
- Anguage: {'precision': 0.7959183673469388, 'recall': 0.7647058823529411, 'f1': 0.7799999999999999, 'number': 51}
- Du Degree: {'precision': 0.847457627118644, 'recall': 0.9803921568627451, 'f1': 0.909090909090909, 'number': 51}
- Du Start Date: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2}
- Du University: {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 64}
- Ears Ex: {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26}
- Er Name: {'precision': 0.6666666666666666, 'recall': 0.4444444444444444, 'f1': 0.5333333333333333, 'number': 9}
- Kill: {'precision': 0.978494623655914, 'recall': 0.91, 'f1': 0.9430051813471503, 'number': 400}
- Ractice: {'precision': 0.84, 'recall': 0.7777777777777778, 'f1': 0.8076923076923077, 'number': 27}
- Rade: {'precision': 0.7666666666666667, 'recall': 0.8846153846153846, 'f1': 0.8214285714285715, 'number': 26}
- Ummarize: {'precision': 0.9981132075471698, 'recall': 0.9981132075471698, 'f1': 0.9981132075471698, 'number': 530}
- Xpertise: {'precision': 0.8598130841121495, 'recall': 0.3458646616541353, 'f1': 0.4932975871313673, 'number': 266}
- X Company: {'precision': 0.9004149377593361, 'recall': 0.8821138211382114, 'f1': 0.8911704312114989, 'number': 246}
- X Description: {'precision': 0.9247828074988569, 'recall': 0.9551357733175915, 'f1': 0.9397142525264258, 'number': 4235}
- X Position: {'precision': 0.7435344827586207, 'recall': 0.8313253012048193, 'f1': 0.7849829351535835, 'number': 415}
- X Start Date: {'precision': 1.0, 'recall': 0.21428571428571427, 'f1': 0.35294117647058826, 'number': 14}
- Overall Precision: 0.9165
- Overall Recall: 0.9149
- Overall F1: 0.9157
- Overall Accuracy: 0.9058
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 3e-05
- train_batch_size: 2
- eval_batch_size: 1
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 10
- mixed_precision_training: Native AMP
Training results
| Training Loss | Epoch | Step | Validation Loss | Ame | Anguage | Du Degree | Du Start Date | Du University | Ears Ex | Er Name | Kill | Ractice | Rade | Ummarize | Xpertise | X Company | X Description | X Position | X Start Date | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0.8238 | 1.0 | 107 | 0.5921 | {'precision': 0.9166666666666666, 'recall': 1.0, 'f1': 0.9565217391304348, 'number': 22} | {'precision': 0.8163265306122449, 'recall': 0.7843137254901961, 'f1': 0.8, 'number': 51} | {'precision': 0.8148148148148148, 'recall': 0.8627450980392157, 'f1': 0.838095238095238, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.7032967032967034, 'recall': 1.0, 'f1': 0.8258064516129032, 'number': 64} | {'precision': 0.9523809523809523, 'recall': 0.7692307692307693, 'f1': 0.8510638297872339, 'number': 26} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.9051987767584098, 'recall': 0.74, 'f1': 0.8143053645116918, 'number': 400} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 27} | {'precision': 0.95, 'recall': 0.7307692307692307, 'f1': 0.8260869565217392, 'number': 26} | {'precision': 0.9795918367346939, 'recall': 0.9962264150943396, 'f1': 0.9878391019644527, 'number': 530} | {'precision': 0.625, 'recall': 0.2819548872180451, 'f1': 0.38860103626943004, 'number': 266} | {'precision': 0.905982905982906, 'recall': 0.8617886178861789, 'f1': 0.8833333333333334, 'number': 246} | {'precision': 0.8699579831932773, 'recall': 0.9778040141676505, 'f1': 0.920733740967204, 'number': 4235} | {'precision': 0.7525773195876289, 'recall': 0.5277108433734939, 'f1': 0.6203966005665722, 'number': 415} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | 0.8698 | 0.8897 | 0.8797 | 0.8667 |
| 0.2711 | 2.0 | 214 | 0.4938 | {'precision': 0.9565217391304348, 'recall': 1.0, 'f1': 0.9777777777777777, 'number': 22} | {'precision': 0.8775510204081632, 'recall': 0.8431372549019608, 'f1': 0.86, 'number': 51} | {'precision': 0.6575342465753424, 'recall': 0.9411764705882353, 'f1': 0.7741935483870968, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.863013698630137, 'recall': 0.984375, 'f1': 0.9197080291970804, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.9859154929577465, 'recall': 0.875, 'f1': 0.9271523178807948, 'number': 400} | {'precision': 0.6486486486486487, 'recall': 0.8888888888888888, 'f1': 0.75, 'number': 27} | {'precision': 0.6571428571428571, 'recall': 0.8846153846153846, 'f1': 0.7540983606557377, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 530} | {'precision': 0.7622950819672131, 'recall': 0.34962406015037595, 'f1': 0.479381443298969, 'number': 266} | {'precision': 0.9203539823008849, 'recall': 0.8455284552845529, 'f1': 0.8813559322033898, 'number': 246} | {'precision': 0.9381758345086977, 'recall': 0.9423848878394333, 'f1': 0.9402756508422664, 'number': 4235} | {'precision': 0.6935483870967742, 'recall': 0.9325301204819277, 'f1': 0.7954779033915725, 'number': 415} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | 0.9129 | 0.9093 | 0.9111 | 0.8989 |
| 0.1893 | 3.0 | 321 | 0.4818 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22} | {'precision': 0.86, 'recall': 0.8431372549019608, 'f1': 0.8514851485148515, 'number': 51} | {'precision': 0.7333333333333333, 'recall': 0.8627450980392157, 'f1': 0.7927927927927927, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.7710843373493976, 'recall': 1.0, 'f1': 0.870748299319728, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.9705093833780161, 'recall': 0.905, 'f1': 0.9366106080206986, 'number': 400} | {'precision': 0.625, 'recall': 0.7407407407407407, 'f1': 0.6779661016949152, 'number': 27} | {'precision': 0.7272727272727273, 'recall': 0.9230769230769231, 'f1': 0.8135593220338984, 'number': 26} | {'precision': 1.0, 'recall': 0.9905660377358491, 'f1': 0.9952606635071091, 'number': 530} | {'precision': 0.7099236641221374, 'recall': 0.34962406015037595, 'f1': 0.4685138539042821, 'number': 266} | {'precision': 0.9045643153526971, 'recall': 0.8861788617886179, 'f1': 0.8952772073921972, 'number': 246} | {'precision': 0.9362447454460533, 'recall': 0.9466351829988193, 'f1': 0.941411295056945, 'number': 4235} | {'precision': 0.725609756097561, 'recall': 0.8602409638554217, 'f1': 0.7872105843439912, 'number': 415} | {'precision': 1.0, 'recall': 0.6428571428571429, 'f1': 0.782608695652174, 'number': 14} | 0.9141 | 0.9106 | 0.9123 | 0.9011 |
| 0.1369 | 4.0 | 428 | 0.5198 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22} | {'precision': 0.86, 'recall': 0.8431372549019608, 'f1': 0.8514851485148515, 'number': 51} | {'precision': 0.8032786885245902, 'recall': 0.9607843137254902, 'f1': 0.8750000000000001, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.9142857142857143, 'recall': 1.0, 'f1': 0.955223880597015, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 0.5, 'recall': 0.1111111111111111, 'f1': 0.1818181818181818, 'number': 9} | {'precision': 0.9862258953168044, 'recall': 0.895, 'f1': 0.9384010484927916, 'number': 400} | {'precision': 0.7058823529411765, 'recall': 0.8888888888888888, 'f1': 0.7868852459016393, 'number': 27} | {'precision': 0.75, 'recall': 0.9230769230769231, 'f1': 0.8275862068965517, 'number': 26} | {'precision': 1.0, 'recall': 0.9924528301886792, 'f1': 0.9962121212121212, 'number': 530} | {'precision': 0.8571428571428571, 'recall': 0.3383458646616541, 'f1': 0.48517520215633425, 'number': 266} | {'precision': 0.9020408163265307, 'recall': 0.8983739837398373, 'f1': 0.90020366598778, 'number': 246} | {'precision': 0.933009933009933, 'recall': 0.9537190082644628, 'f1': 0.9432508173750583, 'number': 4235} | {'precision': 0.7515527950310559, 'recall': 0.8746987951807229, 'f1': 0.8084632516703786, 'number': 415} | {'precision': 1.0, 'recall': 0.6428571428571429, 'f1': 0.782608695652174, 'number': 14} | 0.9216 | 0.9173 | 0.9195 | 0.9084 |
| 0.1184 | 5.0 | 535 | 0.5549 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22} | {'precision': 0.86, 'recall': 0.8431372549019608, 'f1': 0.8514851485148515, 'number': 51} | {'precision': 0.7966101694915254, 'recall': 0.9215686274509803, 'f1': 0.8545454545454545, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.8311688311688312, 'recall': 1.0, 'f1': 0.9078014184397163, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 0.5, 'recall': 0.3333333333333333, 'f1': 0.4, 'number': 9} | {'precision': 0.9393139841688655, 'recall': 0.89, 'f1': 0.913992297817715, 'number': 400} | {'precision': 0.75, 'recall': 0.7777777777777778, 'f1': 0.7636363636363638, 'number': 27} | {'precision': 0.8148148148148148, 'recall': 0.8461538461538461, 'f1': 0.830188679245283, 'number': 26} | {'precision': 1.0, 'recall': 0.9962264150943396, 'f1': 0.998109640831758, 'number': 530} | {'precision': 0.7301587301587301, 'recall': 0.3458646616541353, 'f1': 0.4693877551020407, 'number': 266} | {'precision': 0.9024390243902439, 'recall': 0.9024390243902439, 'f1': 0.9024390243902439, 'number': 246} | {'precision': 0.9235639981908639, 'recall': 0.964344746162928, 'f1': 0.9435139193716068, 'number': 4235} | {'precision': 0.7578288100208769, 'recall': 0.8746987951807229, 'f1': 0.8120805369127517, 'number': 415} | {'precision': 1.0, 'recall': 0.6428571428571429, 'f1': 0.782608695652174, 'number': 14} | 0.9102 | 0.9240 | 0.9171 | 0.9072 |
| 0.0881 | 6.0 | 642 | 0.5596 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22} | {'precision': 0.8163265306122449, 'recall': 0.7843137254901961, 'f1': 0.8, 'number': 51} | {'precision': 0.7903225806451613, 'recall': 0.9607843137254902, 'f1': 0.8672566371681416, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.927536231884058, 'recall': 1.0, 'f1': 0.9624060150375939, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 0.16666666666666666, 'recall': 0.1111111111111111, 'f1': 0.13333333333333333, 'number': 9} | {'precision': 0.9503916449086162, 'recall': 0.91, 'f1': 0.9297573435504469, 'number': 400} | {'precision': 0.9166666666666666, 'recall': 0.8148148148148148, 'f1': 0.8627450980392156, 'number': 27} | {'precision': 0.8461538461538461, 'recall': 0.8461538461538461, 'f1': 0.8461538461538461, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 530} | {'precision': 0.8440366972477065, 'recall': 0.3458646616541353, 'f1': 0.49066666666666664, 'number': 266} | {'precision': 0.9051724137931034, 'recall': 0.8536585365853658, 'f1': 0.8786610878661086, 'number': 246} | {'precision': 0.9071111111111111, 'recall': 0.9638724911452184, 'f1': 0.9346307956496851, 'number': 4235} | {'precision': 0.7452054794520548, 'recall': 0.655421686746988, 'f1': 0.6974358974358975, 'number': 415} | {'precision': 1.0, 'recall': 0.21428571428571427, 'f1': 0.35294117647058826, 'number': 14} | 0.9052 | 0.9079 | 0.9065 | 0.8974 |
| 0.0691 | 7.0 | 749 | 0.6009 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22} | {'precision': 0.7959183673469388, 'recall': 0.7647058823529411, 'f1': 0.7799999999999999, 'number': 51} | {'precision': 0.8392857142857143, 'recall': 0.9215686274509803, 'f1': 0.8785046728971961, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.8648648648648649, 'recall': 1.0, 'f1': 0.927536231884058, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 0.6666666666666666, 'recall': 0.4444444444444444, 'f1': 0.5333333333333333, 'number': 9} | {'precision': 0.9914529914529915, 'recall': 0.87, 'f1': 0.9267643142476697, 'number': 400} | {'precision': 0.9411764705882353, 'recall': 0.5925925925925926, 'f1': 0.7272727272727272, 'number': 27} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 0.9981167608286252, 'recall': 1.0, 'f1': 0.9990574929311969, 'number': 530} | {'precision': 0.8440366972477065, 'recall': 0.3458646616541353, 'f1': 0.49066666666666664, 'number': 266} | {'precision': 0.9004149377593361, 'recall': 0.8821138211382114, 'f1': 0.8911704312114989, 'number': 246} | {'precision': 0.9214528944381385, 'recall': 0.9584415584415584, 'f1': 0.9395833333333333, 'number': 4235} | {'precision': 0.7457264957264957, 'recall': 0.8409638554216867, 'f1': 0.7904869762174406, 'number': 415} | {'precision': 1.0, 'recall': 0.6428571428571429, 'f1': 0.782608695652174, 'number': 14} | 0.9148 | 0.9149 | 0.9149 | 0.9062 |
| 0.0652 | 8.0 | 856 | 0.6024 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22} | {'precision': 0.6666666666666666, 'recall': 0.6274509803921569, 'f1': 0.6464646464646465, 'number': 51} | {'precision': 0.8448275862068966, 'recall': 0.9607843137254902, 'f1': 0.8990825688073395, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.927536231884058, 'recall': 1.0, 'f1': 0.9624060150375939, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 0.6666666666666666, 'recall': 0.4444444444444444, 'f1': 0.5333333333333333, 'number': 9} | {'precision': 0.978319783197832, 'recall': 0.9025, 'f1': 0.9388816644993497, 'number': 400} | {'precision': 0.7575757575757576, 'recall': 0.9259259259259259, 'f1': 0.8333333333333334, 'number': 27} | {'precision': 0.75, 'recall': 0.9230769230769231, 'f1': 0.8275862068965517, 'number': 26} | {'precision': 0.9981167608286252, 'recall': 1.0, 'f1': 0.9990574929311969, 'number': 530} | {'precision': 0.8598130841121495, 'recall': 0.3458646616541353, 'f1': 0.4932975871313673, 'number': 266} | {'precision': 0.892, 'recall': 0.9065040650406504, 'f1': 0.8991935483870968, 'number': 246} | {'precision': 0.9331341911764706, 'recall': 0.958913813459268, 'f1': 0.9458483754512637, 'number': 4235} | {'precision': 0.7628458498023716, 'recall': 0.9301204819277108, 'f1': 0.8382193268186754, 'number': 415} | {'precision': 1.0, 'recall': 0.21428571428571427, 'f1': 0.35294117647058826, 'number': 14} | 0.9204 | 0.9240 | 0.9222 | 0.9118 |
| 0.046 | 9.0 | 963 | 0.6264 | {'precision': 0.9565217391304348, 'recall': 1.0, 'f1': 0.9777777777777777, 'number': 22} | {'precision': 0.7959183673469388, 'recall': 0.7647058823529411, 'f1': 0.7799999999999999, 'number': 51} | {'precision': 0.8333333333333334, 'recall': 0.9803921568627451, 'f1': 0.9009009009009009, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.9384615384615385, 'recall': 0.953125, 'f1': 0.9457364341085271, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 1.0, 'recall': 0.4444444444444444, 'f1': 0.6153846153846153, 'number': 9} | {'precision': 0.9731182795698925, 'recall': 0.905, 'f1': 0.9378238341968912, 'number': 400} | {'precision': 0.8947368421052632, 'recall': 0.6296296296296297, 'f1': 0.7391304347826088, 'number': 27} | {'precision': 0.8461538461538461, 'recall': 0.8461538461538461, 'f1': 0.8461538461538461, 'number': 26} | {'precision': 0.9981132075471698, 'recall': 0.9981132075471698, 'f1': 0.9981132075471698, 'number': 530} | {'precision': 0.8598130841121495, 'recall': 0.3458646616541353, 'f1': 0.4932975871313673, 'number': 266} | {'precision': 0.8934426229508197, 'recall': 0.8861788617886179, 'f1': 0.8897959183673471, 'number': 246} | {'precision': 0.9262820512820513, 'recall': 0.9553719008264463, 'f1': 0.9406021155410903, 'number': 4235} | {'precision': 0.7463002114164905, 'recall': 0.8506024096385543, 'f1': 0.7950450450450451, 'number': 415} | {'precision': 1.0, 'recall': 0.21428571428571427, 'f1': 0.35294117647058826, 'number': 14} | 0.9175 | 0.9149 | 0.9162 | 0.9062 |
| 0.0383 | 10.0 | 1070 | 0.6223 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 22} | {'precision': 0.7959183673469388, 'recall': 0.7647058823529411, 'f1': 0.7799999999999999, 'number': 51} | {'precision': 0.847457627118644, 'recall': 0.9803921568627451, 'f1': 0.909090909090909, 'number': 51} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 2} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 64} | {'precision': 1.0, 'recall': 0.8846153846153846, 'f1': 0.9387755102040816, 'number': 26} | {'precision': 0.6666666666666666, 'recall': 0.4444444444444444, 'f1': 0.5333333333333333, 'number': 9} | {'precision': 0.978494623655914, 'recall': 0.91, 'f1': 0.9430051813471503, 'number': 400} | {'precision': 0.84, 'recall': 0.7777777777777778, 'f1': 0.8076923076923077, 'number': 27} | {'precision': 0.7666666666666667, 'recall': 0.8846153846153846, 'f1': 0.8214285714285715, 'number': 26} | {'precision': 0.9981132075471698, 'recall': 0.9981132075471698, 'f1': 0.9981132075471698, 'number': 530} | {'precision': 0.8598130841121495, 'recall': 0.3458646616541353, 'f1': 0.4932975871313673, 'number': 266} | {'precision': 0.9004149377593361, 'recall': 0.8821138211382114, 'f1': 0.8911704312114989, 'number': 246} | {'precision': 0.9247828074988569, 'recall': 0.9551357733175915, 'f1': 0.9397142525264258, 'number': 4235} | {'precision': 0.7435344827586207, 'recall': 0.8313253012048193, 'f1': 0.7849829351535835, 'number': 415} | {'precision': 1.0, 'recall': 0.21428571428571427, 'f1': 0.35294117647058826, 'number': 14} | 0.9165 | 0.9149 | 0.9157 | 0.9058 |
Framework versions
- Transformers 4.26.0.dev0
- Pytorch 1.13.1+cu117
- Datasets 2.8.0
- Tokenizers 0.13.2
