<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->
lilt-en-funsd-7
This model is a fine-tuned version of SCUT-DLVCLab/lilt-roberta-en-base on the None dataset. It achieves the following results on the evaluation set:
- Loss: 0.3070
- Other: {'precision': 0.9619894864537, 'recall': 0.9569589702333066, 'f1': 0.9594676346037508, 'number': 2486}
- Billing Address: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24}
- Currency: {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5}
- Due Date: {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25}
- Invoice Date: {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44}
- Invoice Number: {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46}
- Line Amount: {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124}
- Line Item Name: {'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100}
- Line Quantity: {'precision': 0.9142857142857143, 'recall': 0.9504950495049505, 'f1': 0.9320388349514563, 'number': 101}
- Order Date: {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9}
- Payment Terms: {'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31}
- Po Number: {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26}
- Remit Address: {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9}
- Shipping Address: {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14}
- Total Amount: {'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50}
- Vendor Address: {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23}
- Vendor Name: {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33}
- Overall Precision: 0.9486
- Overall Recall: 0.9492
- Overall F1: 0.9489
- Overall Accuracy: 0.9592
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 4
- eval_batch_size: 4
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- training_steps: 2000
- mixed_precision_training: Native AMP
Training results
| Training Loss | Epoch | Step | Validation Loss | Other | Billing Address | Currency | Due Date | Invoice Date | Invoice Number | Line Amount | Line Item Name | Line Quantity | Order Date | Payment Terms | Po Number | Remit Address | Shipping Address | Total Amount | Vendor Address | Vendor Name | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1.1575 | 1.59 | 100 | 0.5815 | {'precision': 0.8309915696507427, 'recall': 0.83266291230893, 'f1': 0.8318264014466545, 'number': 2486} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 24} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 5} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 25} | {'precision': 0.33980582524271846, 'recall': 0.7954545454545454, 'f1': 0.47619047619047616, 'number': 44} | {'precision': 0.8333333333333334, 'recall': 0.21739130434782608, 'f1': 0.3448275862068966, 'number': 46} | {'precision': 0.4971751412429379, 'recall': 0.7096774193548387, 'f1': 0.5847176079734219, 'number': 124} | {'precision': 0.2080536912751678, 'recall': 0.62, 'f1': 0.3115577889447236, 'number': 100} | {'precision': 0.6326530612244898, 'recall': 0.3069306930693069, 'f1': 0.4133333333333333, 'number': 101} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 31} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 26} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.017857142857142856, 'recall': 0.07142857142857142, 'f1': 0.028571428571428574, 'number': 14} | {'precision': 0.47368421052631576, 'recall': 0.54, 'f1': 0.5046728971962616, 'number': 50} | {'precision': 0.125, 'recall': 0.08695652173913043, 'f1': 0.10256410256410256, 'number': 23} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 33} | 0.6972 | 0.7384 | 0.7172 | 0.8134 |
| 0.3697 | 3.17 | 200 | 0.3376 | {'precision': 0.9070539419087137, 'recall': 0.8793242156074015, 'f1': 0.8929738562091504, 'number': 2486} | {'precision': 0.3235294117647059, 'recall': 0.4583333333333333, 'f1': 0.3793103448275862, 'number': 24} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 5} | {'precision': 0.4, 'recall': 0.16, 'f1': 0.22857142857142856, 'number': 25} | {'precision': 0.43564356435643564, 'recall': 1.0, 'f1': 0.6068965517241379, 'number': 44} | {'precision': 0.5454545454545454, 'recall': 0.9130434782608695, 'f1': 0.6829268292682926, 'number': 46} | {'precision': 0.8041958041958042, 'recall': 0.9274193548387096, 'f1': 0.8614232209737828, 'number': 124} | {'precision': 0.38271604938271603, 'recall': 0.62, 'f1': 0.47328244274809156, 'number': 100} | {'precision': 0.7086614173228346, 'recall': 0.8910891089108911, 'f1': 0.7894736842105263, 'number': 101} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.7435897435897436, 'recall': 0.9354838709677419, 'f1': 0.8285714285714285, 'number': 31} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 26} | {'precision': 0.25, 'recall': 0.3333333333333333, 'f1': 0.28571428571428575, 'number': 9} | {'precision': 0.21428571428571427, 'recall': 0.42857142857142855, 'f1': 0.2857142857142857, 'number': 14} | {'precision': 0.5512820512820513, 'recall': 0.86, 'f1': 0.671875, 'number': 50} | {'precision': 0.875, 'recall': 0.9130434782608695, 'f1': 0.8936170212765957, 'number': 23} | {'precision': 0.7, 'recall': 0.8484848484848485, 'f1': 0.7671232876712328, 'number': 33} | 0.8170 | 0.8521 | 0.8342 | 0.8954 |
| 0.1782 | 4.76 | 300 | 0.2531 | {'precision': 0.9419642857142857, 'recall': 0.9336283185840708, 'f1': 0.9377777777777778, 'number': 2486} | {'precision': 0.7931034482758621, 'recall': 0.9583333333333334, 'f1': 0.8679245283018867, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8260869565217391, 'recall': 0.76, 'f1': 0.7916666666666667, 'number': 25} | {'precision': 0.6825396825396826, 'recall': 0.9772727272727273, 'f1': 0.8037383177570094, 'number': 44} | {'precision': 0.86, 'recall': 0.9347826086956522, 'f1': 0.8958333333333334, 'number': 46} | {'precision': 0.95, 'recall': 0.9193548387096774, 'f1': 0.9344262295081968, 'number': 124} | {'precision': 0.5694444444444444, 'recall': 0.82, 'f1': 0.6721311475409835, 'number': 100} | {'precision': 0.8349514563106796, 'recall': 0.8514851485148515, 'f1': 0.8431372549019608, 'number': 101} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31} | {'precision': 1.0, 'recall': 0.15384615384615385, 'f1': 0.2666666666666667, 'number': 26} | {'precision': 0.42857142857142855, 'recall': 0.6666666666666666, 'f1': 0.5217391304347826, 'number': 9} | {'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14} | {'precision': 0.9574468085106383, 'recall': 0.9, 'f1': 0.9278350515463918, 'number': 50} | {'precision': 1.0, 'recall': 0.9130434782608695, 'f1': 0.9545454545454545, 'number': 23} | {'precision': 0.7837837837837838, 'recall': 0.8787878787878788, 'f1': 0.8285714285714285, 'number': 33} | 0.9091 | 0.9146 | 0.9119 | 0.9383 |
| 0.1085 | 6.35 | 400 | 0.2575 | {'precision': 0.951179820992677, 'recall': 0.9404666130329847, 'f1': 0.9457928802588996, 'number': 2486} | {'precision': 0.84, 'recall': 0.875, 'f1': 0.8571428571428572, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8888888888888888, 'recall': 0.96, 'f1': 0.923076923076923, 'number': 25} | {'precision': 0.8888888888888888, 'recall': 0.9090909090909091, 'f1': 0.8988764044943819, 'number': 44} | {'precision': 0.9761904761904762, 'recall': 0.8913043478260869, 'f1': 0.9318181818181818, 'number': 46} | {'precision': 0.9655172413793104, 'recall': 0.9032258064516129, 'f1': 0.9333333333333333, 'number': 124} | {'precision': 0.59375, 'recall': 0.76, 'f1': 0.6666666666666666, 'number': 100} | {'precision': 0.8725490196078431, 'recall': 0.8811881188118812, 'f1': 0.8768472906403942, 'number': 101} | {'precision': 0.5, 'recall': 0.6666666666666666, 'f1': 0.5714285714285715, 'number': 9} | {'precision': 0.8108108108108109, 'recall': 0.967741935483871, 'f1': 0.8823529411764706, 'number': 31} | {'precision': 0.8125, 'recall': 0.5, 'f1': 0.6190476190476191, 'number': 26} | {'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9} | {'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14} | {'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50} | {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23} | {'precision': 0.7894736842105263, 'recall': 0.9090909090909091, 'f1': 0.8450704225352113, 'number': 33} | 0.9239 | 0.9248 | 0.9243 | 0.9452 |
| 0.071 | 7.94 | 500 | 0.2384 | {'precision': 0.9571134020618557, 'recall': 0.9336283185840708, 'f1': 0.9452250050906129, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.75, 'recall': 0.96, 'f1': 0.8421052631578947, 'number': 25} | {'precision': 0.8775510204081632, 'recall': 0.9772727272727273, 'f1': 0.9247311827956989, 'number': 44} | {'precision': 0.9347826086956522, 'recall': 0.9347826086956522, 'f1': 0.9347826086956522, 'number': 46} | {'precision': 0.9015151515151515, 'recall': 0.9596774193548387, 'f1': 0.9296875, 'number': 124} | {'precision': 0.6982758620689655, 'recall': 0.81, 'f1': 0.75, 'number': 100} | {'precision': 0.8434782608695652, 'recall': 0.9603960396039604, 'f1': 0.8981481481481481, 'number': 101} | {'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9} | {'precision': 0.75, 'recall': 0.967741935483871, 'f1': 0.8450704225352113, 'number': 31} | {'precision': 0.8666666666666667, 'recall': 0.5, 'f1': 0.6341463414634146, 'number': 26} | {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} | {'precision': 0.9285714285714286, 'recall': 0.9285714285714286, 'f1': 0.9285714285714286, 'number': 14} | {'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.7317073170731707, 'recall': 0.9090909090909091, 'f1': 0.8108108108108109, 'number': 33} | 0.9295 | 0.9286 | 0.9290 | 0.9512 |
| 0.0489 | 9.52 | 600 | 0.2392 | {'precision': 0.9521863506334287, 'recall': 0.9372485921158488, 'f1': 0.94465842286641, 'number': 2486} | {'precision': 0.8846153846153846, 'recall': 0.9583333333333334, 'f1': 0.9199999999999999, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.7666666666666667, 'recall': 0.92, 'f1': 0.8363636363636363, 'number': 25} | {'precision': 0.8958333333333334, 'recall': 0.9772727272727273, 'f1': 0.9347826086956522, 'number': 44} | {'precision': 0.9347826086956522, 'recall': 0.9347826086956522, 'f1': 0.9347826086956522, 'number': 46} | {'precision': 0.9426229508196722, 'recall': 0.9274193548387096, 'f1': 0.9349593495934959, 'number': 124} | {'precision': 0.7079646017699115, 'recall': 0.8, 'f1': 0.7511737089201878, 'number': 100} | {'precision': 0.8495575221238938, 'recall': 0.9504950495049505, 'f1': 0.897196261682243, 'number': 101} | {'precision': 0.7142857142857143, 'recall': 0.5555555555555556, 'f1': 0.6250000000000001, 'number': 9} | {'precision': 0.8823529411764706, 'recall': 0.967741935483871, 'f1': 0.923076923076923, 'number': 31} | {'precision': 0.5652173913043478, 'recall': 0.5, 'f1': 0.5306122448979592, 'number': 26} | {'precision': 0.7, 'recall': 0.7777777777777778, 'f1': 0.7368421052631577, 'number': 9} | {'precision': 0.7647058823529411, 'recall': 0.9285714285714286, 'f1': 0.8387096774193549, 'number': 14} | {'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.8108108108108109, 'recall': 0.9090909090909091, 'f1': 0.8571428571428571, 'number': 33} | 0.9283 | 0.9289 | 0.9286 | 0.9513 |
| 0.0399 | 11.11 | 700 | 0.2334 | {'precision': 0.9556451612903226, 'recall': 0.9533386967015286, 'f1': 0.9544905356423681, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8214285714285714, 'recall': 0.92, 'f1': 0.8679245283018867, 'number': 25} | {'precision': 0.8958333333333334, 'recall': 0.9772727272727273, 'f1': 0.9347826086956522, 'number': 44} | {'precision': 0.9772727272727273, 'recall': 0.9347826086956522, 'f1': 0.9555555555555557, 'number': 46} | {'precision': 0.9022556390977443, 'recall': 0.967741935483871, 'f1': 0.933852140077821, 'number': 124} | {'precision': 0.8333333333333334, 'recall': 0.8, 'f1': 0.816326530612245, 'number': 100} | {'precision': 0.8913043478260869, 'recall': 0.8118811881188119, 'f1': 0.8497409326424871, 'number': 101} | {'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9} | {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31} | {'precision': 0.88, 'recall': 0.8461538461538461, 'f1': 0.8627450980392156, 'number': 26} | {'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9782608695652174, 'recall': 0.9, 'f1': 0.9375, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.8529411764705882, 'recall': 0.8787878787878788, 'f1': 0.8656716417910447, 'number': 33} | 0.9428 | 0.9413 | 0.9420 | 0.9564 |
| 0.0308 | 12.7 | 800 | 0.2947 | {'precision': 0.9552361396303901, 'recall': 0.9356395816572808, 'f1': 0.9453363137573665, 'number': 2486} | {'precision': 0.9230769230769231, 'recall': 1.0, 'f1': 0.9600000000000001, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8461538461538461, 'recall': 0.88, 'f1': 0.8627450980392156, 'number': 25} | {'precision': 0.8775510204081632, 'recall': 0.9772727272727273, 'f1': 0.9247311827956989, 'number': 44} | {'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46} | {'precision': 0.8880597014925373, 'recall': 0.9596774193548387, 'f1': 0.9224806201550387, 'number': 124} | {'precision': 0.7542372881355932, 'recall': 0.89, 'f1': 0.8165137614678899, 'number': 100} | {'precision': 0.9425287356321839, 'recall': 0.8118811881188119, 'f1': 0.8723404255319149, 'number': 101} | {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9} | {'precision': 0.8857142857142857, 'recall': 1.0, 'f1': 0.9393939393939393, 'number': 31} | {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} | {'precision': 0.6153846153846154, 'recall': 0.8888888888888888, 'f1': 0.7272727272727274, 'number': 9} | {'precision': 0.9285714285714286, 'recall': 0.9285714285714286, 'f1': 0.9285714285714286, 'number': 14} | {'precision': 0.9230769230769231, 'recall': 0.96, 'f1': 0.9411764705882353, 'number': 50} | {'precision': 0.88, 'recall': 0.9565217391304348, 'f1': 0.9166666666666666, 'number': 23} | {'precision': 0.7560975609756098, 'recall': 0.9393939393939394, 'f1': 0.8378378378378378, 'number': 33} | 0.9350 | 0.9311 | 0.9330 | 0.9525 |
| 0.0282 | 14.29 | 900 | 0.2718 | {'precision': 0.9555375909458367, 'recall': 0.9509251810136766, 'f1': 0.9532258064516129, 'number': 2486} | {'precision': 0.8518518518518519, 'recall': 0.9583333333333334, 'f1': 0.9019607843137256, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8518518518518519, 'recall': 0.92, 'f1': 0.8846153846153846, 'number': 25} | {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} | {'precision': 0.9565217391304348, 'recall': 0.9565217391304348, 'f1': 0.9565217391304348, 'number': 46} | {'precision': 0.9147286821705426, 'recall': 0.9516129032258065, 'f1': 0.932806324110672, 'number': 124} | {'precision': 0.7264957264957265, 'recall': 0.85, 'f1': 0.7834101382488479, 'number': 100} | {'precision': 0.9381443298969072, 'recall': 0.900990099009901, 'f1': 0.9191919191919191, 'number': 101} | {'precision': 0.8, 'recall': 0.8888888888888888, 'f1': 0.8421052631578948, 'number': 9} | {'precision': 0.9354838709677419, 'recall': 0.9354838709677419, 'f1': 0.9354838709677419, 'number': 31} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9787234042553191, 'recall': 0.92, 'f1': 0.9484536082474226, 'number': 50} | {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23} | {'precision': 0.8157894736842105, 'recall': 0.9393939393939394, 'f1': 0.8732394366197183, 'number': 33} | 0.9382 | 0.9438 | 0.9410 | 0.9569 |
| 0.0188 | 15.87 | 1000 | 0.3016 | {'precision': 0.9587586770110249, 'recall': 0.9444891391794047, 'f1': 0.9515704154002026, 'number': 2486} | {'precision': 0.88, 'recall': 0.9166666666666666, 'f1': 0.8979591836734694, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8461538461538461, 'recall': 0.88, 'f1': 0.8627450980392156, 'number': 25} | {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} | {'precision': 0.9361702127659575, 'recall': 0.9565217391304348, 'f1': 0.9462365591397849, 'number': 46} | {'precision': 0.9224806201550387, 'recall': 0.9596774193548387, 'f1': 0.9407114624505929, 'number': 124} | {'precision': 0.7207207207207207, 'recall': 0.8, 'f1': 0.7582938388625592, 'number': 100} | {'precision': 0.9393939393939394, 'recall': 0.9207920792079208, 'f1': 0.9300000000000002, 'number': 101} | {'precision': 0.75, 'recall': 0.6666666666666666, 'f1': 0.7058823529411765, 'number': 9} | {'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31} | {'precision': 0.9545454545454546, 'recall': 0.8076923076923077, 'f1': 0.875, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.98, 'recall': 0.98, 'f1': 0.98, 'number': 50} | {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23} | {'precision': 0.8378378378378378, 'recall': 0.9393939393939394, 'f1': 0.8857142857142858, 'number': 33} | 0.9416 | 0.9371 | 0.9394 | 0.9550 |
| 0.0168 | 17.46 | 1100 | 0.2942 | {'precision': 0.9548751007252216, 'recall': 0.9533386967015286, 'f1': 0.9541062801932367, 'number': 2486} | {'precision': 0.92, 'recall': 0.9583333333333334, 'f1': 0.9387755102040817, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8148148148148148, 'recall': 0.88, 'f1': 0.8461538461538461, 'number': 25} | {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} | {'precision': 0.9555555555555556, 'recall': 0.9347826086956522, 'f1': 0.945054945054945, 'number': 46} | {'precision': 0.9212598425196851, 'recall': 0.9435483870967742, 'f1': 0.9322709163346614, 'number': 124} | {'precision': 0.6837606837606838, 'recall': 0.8, 'f1': 0.7373271889400922, 'number': 100} | {'precision': 0.9223300970873787, 'recall': 0.9405940594059405, 'f1': 0.9313725490196079, 'number': 101} | {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9} | {'precision': 0.9032258064516129, 'recall': 0.9032258064516129, 'f1': 0.9032258064516129, 'number': 31} | {'precision': 0.88, 'recall': 0.8461538461538461, 'f1': 0.8627450980392156, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14} | {'precision': 0.9565217391304348, 'recall': 0.88, 'f1': 0.9166666666666666, 'number': 50} | {'precision': 0.9130434782608695, 'recall': 0.9130434782608695, 'f1': 0.9130434782608695, 'number': 23} | {'precision': 0.8235294117647058, 'recall': 0.8484848484848485, 'f1': 0.8358208955223881, 'number': 33} | 0.9354 | 0.9422 | 0.9388 | 0.9553 |
| 0.0153 | 19.05 | 1200 | 0.2782 | {'precision': 0.9548361310951239, 'recall': 0.9609814963797265, 'f1': 0.9578989574979953, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8333333333333334, 'recall': 0.8, 'f1': 0.816326530612245, 'number': 25} | {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} | {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} | {'precision': 0.921875, 'recall': 0.9516129032258065, 'f1': 0.9365079365079365, 'number': 124} | {'precision': 0.8367346938775511, 'recall': 0.82, 'f1': 0.8282828282828283, 'number': 100} | {'precision': 0.9489795918367347, 'recall': 0.9207920792079208, 'f1': 0.934673366834171, 'number': 101} | {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} | {'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9591836734693877, 'recall': 0.94, 'f1': 0.9494949494949495, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.725, 'recall': 0.8787878787878788, 'f1': 0.7945205479452054, 'number': 33} | 0.9429 | 0.9489 | 0.9459 | 0.9600 |
| 0.0102 | 20.63 | 1300 | 0.3009 | {'precision': 0.9611650485436893, 'recall': 0.9557522123893806, 'f1': 0.9584509883017345, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.88, 'recall': 0.88, 'f1': 0.88, 'number': 25} | {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} | {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} | {'precision': 0.9015151515151515, 'recall': 0.9596774193548387, 'f1': 0.9296875, 'number': 124} | {'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100} | {'precision': 0.9065420560747663, 'recall': 0.9603960396039604, 'f1': 0.9326923076923077, 'number': 101} | {'precision': 1.0, 'recall': 0.7777777777777778, 'f1': 0.8750000000000001, 'number': 9} | {'precision': 0.9310344827586207, 'recall': 0.8709677419354839, 'f1': 0.9, 'number': 31} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9791666666666666, 'recall': 0.94, 'f1': 0.9591836734693877, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.8108108108108109, 'recall': 0.9090909090909091, 'f1': 0.8571428571428571, 'number': 33} | 0.9474 | 0.9489 | 0.9481 | 0.9585 |
| 0.008 | 22.22 | 1400 | 0.2937 | {'precision': 0.9615851192883138, 'recall': 0.9565567176186646, 'f1': 0.9590643274853803, 'number': 2486} | {'precision': 0.92, 'recall': 0.9583333333333334, 'f1': 0.9387755102040817, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} | {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} | {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} | {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124} | {'precision': 0.8018867924528302, 'recall': 0.85, 'f1': 0.8252427184466019, 'number': 100} | {'precision': 0.9065420560747663, 'recall': 0.9603960396039604, 'f1': 0.9326923076923077, 'number': 101} | {'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9} | {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9795918367346939, 'recall': 0.96, 'f1': 0.9696969696969697, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.8529411764705882, 'recall': 0.8787878787878788, 'f1': 0.8656716417910447, 'number': 33} | 0.9477 | 0.9492 | 0.9485 | 0.9587 |
| 0.0062 | 23.81 | 1500 | 0.3124 | {'precision': 0.963023161316538, 'recall': 0.9533386967015286, 'f1': 0.9581564584596726, 'number': 2486} | {'precision': 0.9583333333333334, 'recall': 0.9583333333333334, 'f1': 0.9583333333333334, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.7586206896551724, 'recall': 0.88, 'f1': 0.8148148148148148, 'number': 25} | {'precision': 0.8936170212765957, 'recall': 0.9545454545454546, 'f1': 0.9230769230769231, 'number': 44} | {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} | {'precision': 0.9435483870967742, 'recall': 0.9435483870967742, 'f1': 0.9435483870967742, 'number': 124} | {'precision': 0.7777777777777778, 'recall': 0.77, 'f1': 0.7738693467336684, 'number': 100} | {'precision': 0.9320388349514563, 'recall': 0.9504950495049505, 'f1': 0.9411764705882353, 'number': 101} | {'precision': 0.8888888888888888, 'recall': 0.8888888888888888, 'f1': 0.8888888888888888, 'number': 9} | {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} | {'precision': 0.8125, 'recall': 0.9285714285714286, 'f1': 0.8666666666666666, 'number': 14} | {'precision': 0.9411764705882353, 'recall': 0.96, 'f1': 0.9504950495049505, 'number': 50} | {'precision': 0.9565217391304348, 'recall': 0.9565217391304348, 'f1': 0.9565217391304348, 'number': 23} | {'precision': 0.8055555555555556, 'recall': 0.8787878787878788, 'f1': 0.8405797101449276, 'number': 33} | 0.9471 | 0.9438 | 0.9455 | 0.9586 |
| 0.0055 | 25.4 | 1600 | 0.3070 | {'precision': 0.9619894864537, 'recall': 0.9569589702333066, 'f1': 0.9594676346037508, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} | {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} | {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} | {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124} | {'precision': 0.8269230769230769, 'recall': 0.86, 'f1': 0.8431372549019608, 'number': 100} | {'precision': 0.9142857142857143, 'recall': 0.9504950495049505, 'f1': 0.9320388349514563, 'number': 101} | {'precision': 0.875, 'recall': 0.7777777777777778, 'f1': 0.823529411764706, 'number': 9} | {'precision': 0.9090909090909091, 'recall': 0.967741935483871, 'f1': 0.9374999999999999, 'number': 31} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.94, 'recall': 0.94, 'f1': 0.94, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33} | 0.9486 | 0.9492 | 0.9489 | 0.9592 |
| 0.0044 | 26.98 | 1700 | 0.3166 | {'precision': 0.9592413236481033, 'recall': 0.9561544650040226, 'f1': 0.9576954069298952, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} | {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} | {'precision': 0.9545454545454546, 'recall': 0.9130434782608695, 'f1': 0.9333333333333332, 'number': 46} | {'precision': 0.937007874015748, 'recall': 0.9596774193548387, 'f1': 0.9482071713147411, 'number': 124} | {'precision': 0.8095238095238095, 'recall': 0.85, 'f1': 0.8292682926829269, 'number': 100} | {'precision': 0.9320388349514563, 'recall': 0.9504950495049505, 'f1': 0.9411764705882353, 'number': 101} | {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} | {'precision': 0.9375, 'recall': 0.967741935483871, 'f1': 0.9523809523809523, 'number': 31} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9791666666666666, 'recall': 0.94, 'f1': 0.9591836734693877, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.8285714285714286, 'recall': 0.8787878787878788, 'f1': 0.8529411764705883, 'number': 33} | 0.9471 | 0.9486 | 0.9478 | 0.9579 |
| 0.0035 | 28.57 | 1800 | 0.3201 | {'precision': 0.9599514563106796, 'recall': 0.9545454545454546, 'f1': 0.9572408229124647, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} | {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} | {'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46} | {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124} | {'precision': 0.8, 'recall': 0.84, 'f1': 0.8195121951219512, 'number': 100} | {'precision': 0.9238095238095239, 'recall': 0.9603960396039604, 'f1': 0.941747572815534, 'number': 101} | {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} | {'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31} | {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9056603773584906, 'recall': 0.96, 'f1': 0.9320388349514563, 'number': 50} | {'precision': 0.9166666666666666, 'recall': 0.9565217391304348, 'f1': 0.9361702127659574, 'number': 23} | {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33} | 0.9446 | 0.9467 | 0.9456 | 0.9587 |
| 0.0035 | 30.16 | 1900 | 0.3207 | {'precision': 0.9588543767648245, 'recall': 0.9561544650040226, 'f1': 0.9575025176233636, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} | {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} | {'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46} | {'precision': 0.936, 'recall': 0.9435483870967742, 'f1': 0.9397590361445783, 'number': 124} | {'precision': 0.7850467289719626, 'recall': 0.84, 'f1': 0.8115942028985507, 'number': 100} | {'precision': 0.9230769230769231, 'recall': 0.9504950495049505, 'f1': 0.9365853658536586, 'number': 101} | {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} | {'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31} | {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9787234042553191, 'recall': 0.92, 'f1': 0.9484536082474226, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33} | 0.9449 | 0.9470 | 0.9459 | 0.9585 |
| 0.0026 | 31.75 | 2000 | 0.3208 | {'precision': 0.9580814187827489, 'recall': 0.9561544650040226, 'f1': 0.957116972015301, 'number': 2486} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 24} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 5} | {'precision': 0.8076923076923077, 'recall': 0.84, 'f1': 0.8235294117647058, 'number': 25} | {'precision': 0.8913043478260869, 'recall': 0.9318181818181818, 'f1': 0.9111111111111111, 'number': 44} | {'precision': 0.9333333333333333, 'recall': 0.9130434782608695, 'f1': 0.9230769230769231, 'number': 46} | {'precision': 0.9435483870967742, 'recall': 0.9435483870967742, 'f1': 0.9435483870967742, 'number': 124} | {'precision': 0.7904761904761904, 'recall': 0.83, 'f1': 0.8097560975609757, 'number': 100} | {'precision': 0.9207920792079208, 'recall': 0.9207920792079208, 'f1': 0.9207920792079208, 'number': 101} | {'precision': 0.7777777777777778, 'recall': 0.7777777777777778, 'f1': 0.7777777777777778, 'number': 9} | {'precision': 0.90625, 'recall': 0.9354838709677419, 'f1': 0.9206349206349206, 'number': 31} | {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} | {'precision': 0.7272727272727273, 'recall': 0.8888888888888888, 'f1': 0.7999999999999999, 'number': 9} | {'precision': 0.8666666666666667, 'recall': 0.9285714285714286, 'f1': 0.896551724137931, 'number': 14} | {'precision': 0.9795918367346939, 'recall': 0.96, 'f1': 0.9696969696969697, 'number': 50} | {'precision': 1.0, 'recall': 0.9565217391304348, 'f1': 0.9777777777777777, 'number': 23} | {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 33} | 0.9448 | 0.9463 | 0.9456 | 0.9583 |
Framework versions
- Transformers 4.28.0
- Pytorch 2.0.0+cu118
- Datasets 2.12.1.dev0
- Tokenizers 0.13.3
