generated_from_trainer

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

codet5p-770m-py-sanitized-codebleu-1-True-0.0001-0.1-lora

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

Training results

Training Loss Epoch Step Validation Loss Codebleu Ngram Match Score Weighted Ngram Match Score Syntax Match Score Dataflow Match Score
0.9803 1.0 20 0.9122 0.0451 0.0009 0.0261 0.0437 0.0622
0.899 2.0 40 0.8500 0.0969 0.0231 0.0517 0.1190 0.1044
0.8246 3.0 60 0.7960 0.0972 0.0183 0.0489 0.1217 0.1044
0.7556 4.0 80 0.7513 0.1063 0.0145 0.0405 0.1296 0.1225
0.7133 5.0 100 0.7276 0.1098 0.0226 0.0515 0.1336 0.1225
0.6932 6.0 120 0.7113 0.1033 0.0225 0.0474 0.1243 0.1165
0.6379 7.0 140 0.7016 0.1050 0.0257 0.0531 0.1204 0.1225
0.5922 8.0 160 0.7023 0.1071 0.0283 0.0524 0.1230 0.1245
0.5445 9.0 180 0.7068 0.1050 0.0208 0.0449 0.1257 0.1205
0.5165 10.0 200 0.7123 0.1003 0.0234 0.0474 0.1085 0.1245
0.4817 11.0 220 0.7109 0.1013 0.0198 0.0405 0.1177 0.1205
0.4608 12.0 240 0.7234 0.1141 0.0304 0.0538 0.1257 0.1386
0.4323 13.0 260 0.7305 0.1071 0.0286 0.0502 0.1257 0.1225
0.403 14.0 280 0.7538 0.0976 0.0222 0.0402 0.1019 0.1265
0.3987 15.0 300 0.7431 0.0995 0.0232 0.0454 0.1111 0.1205
0.3701 16.0 320 0.7689 0.1028 0.0334 0.0602 0.1190 0.1145
0.3361 17.0 340 0.7819 0.1032 0.0361 0.0594 0.1177 0.1165
0.321 18.0 360 0.7912 0.1184 0.0491 0.0785 0.1296 0.1345
0.3079 19.0 380 0.8008 0.1193 0.0442 0.0736 0.1323 0.1365
0.2863 20.0 400 0.8250 0.1031 0.0333 0.0638 0.1230 0.1104
0.2753 21.0 420 0.8410 0.1129 0.0479 0.0779 0.1204 0.1305
0.2669 22.0 440 0.8477 0.1101 0.0377 0.0682 0.1283 0.1205
0.2492 23.0 460 0.8404 0.1058 0.0471 0.0767 0.1190 0.1145
0.2293 24.0 480 0.8766 0.1048 0.0417 0.0695 0.1177 0.1165
0.229 25.0 500 0.8893 0.1043 0.0382 0.0621 0.1111 0.1245
0.2172 26.0 520 0.8777 0.1122 0.0387 0.0698 0.1310 0.1225
0.2135 27.0 540 0.8836 0.0997 0.0343 0.0553 0.1164 0.1104
0.2083 28.0 560 0.8862 0.1079 0.0386 0.0696 0.1243 0.1185
0.1958 29.0 580 0.8723 0.1186 0.0378 0.0655 0.1362 0.1345
0.1901 30.0 600 0.9106 0.1097 0.0322 0.0593 0.1310 0.1205
0.186 31.0 620 0.8958 0.1059 0.0398 0.0692 0.1190 0.1185
0.1709 32.0 640 0.9341 0.1106 0.0349 0.0644 0.1190 0.1325
0.176 33.0 660 0.9269 0.1078 0.0379 0.0691 0.1204 0.1225
0.1667 34.0 680 0.9310 0.1281 0.0404 0.0672 0.1548 0.1386
0.1614 35.0 700 0.9354 0.1137 0.0419 0.0729 0.1270 0.1285
0.1668 36.0 720 0.9297 0.1172 0.0477 0.0812 0.1283 0.1325
0.1594 37.0 740 0.9562 0.1175 0.0465 0.0830 0.1310 0.1305
0.1521 38.0 760 0.9478 0.1116 0.0398 0.0756 0.1296 0.1205
0.1486 39.0 780 0.9575 0.1340 0.0473 0.0794 0.1508 0.1526
0.1423 40.0 800 0.9661 0.1333 0.0413 0.0785 0.1508 0.1526
0.139 41.0 820 0.9598 0.1204 0.0374 0.0758 0.1442 0.1285
0.1333 42.0 840 0.9761 0.1206 0.0424 0.0750 0.1296 0.1426
0.1293 43.0 860 0.9717 0.1247 0.0415 0.0768 0.1376 0.1446
0.132 44.0 880 0.9827 0.1140 0.0392 0.0760 0.1296 0.1265
0.125 45.0 900 0.9940 0.1126 0.0372 0.0755 0.1310 0.1225
0.1318 46.0 920 0.9871 0.1245 0.0414 0.0772 0.1349 0.1466
0.1272 47.0 940 0.9773 0.1211 0.0437 0.0817 0.1310 0.1406
0.1264 48.0 960 0.9781 0.1315 0.0408 0.0765 0.1468 0.1526
0.1239 49.0 980 0.9827 0.1255 0.0404 0.0774 0.1336 0.1506
0.1277 50.0 1000 0.9830 0.1241 0.0424 0.0802 0.1310 0.1486

Framework versions