generated_from_trainer

<!-- This model card has been generated automatically according to the information the Trainer had access to. You should probably proofread and complete it, then remove this comment. -->

codet5p-770m-py-sanitized-codebleu-1-True-5e-07-0.1

This model is a fine-tuned version of Salesforce/codet5p-770m-py on the mbpp dataset. It achieves the following results on the evaluation set:

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

Training results

Training Loss Epoch Step Validation Loss Codebleu Ngram Match Score Weighted Ngram Match Score Syntax Match Score Dataflow Match Score
0.9796 1.0 20 0.9476 0.0199 0.0000 0.0043 0.0185 0.0301
0.9603 2.0 40 0.9196 0.0949 0.0187 0.0469 0.1164 0.1044
0.9247 3.0 60 0.8701 0.0977 0.0229 0.0526 0.1190 0.1064
0.8677 4.0 80 0.8430 0.0982 0.0231 0.0518 0.1243 0.1024
0.8451 5.0 100 0.8179 0.1004 0.0249 0.0558 0.1283 0.1024
0.7991 6.0 120 0.7986 0.0997 0.0186 0.0451 0.1270 0.1064
0.7707 7.0 140 0.7839 0.0986 0.0179 0.0454 0.1243 0.1064
0.7453 8.0 160 0.7721 0.0965 0.0178 0.0459 0.1230 0.1024
0.7144 9.0 180 0.7632 0.1139 0.0204 0.0518 0.1402 0.1265
0.7101 10.0 200 0.7548 0.1139 0.0204 0.0518 0.1402 0.1265
0.6975 11.0 220 0.7479 0.1169 0.0204 0.0522 0.1455 0.1285
0.6707 12.0 240 0.7420 0.1205 0.0217 0.0524 0.1481 0.1345
0.6742 13.0 260 0.7381 0.1190 0.0221 0.0528 0.1481 0.1305
0.6384 14.0 280 0.7346 0.1191 0.0233 0.0529 0.1481 0.1305
0.6241 15.0 300 0.7307 0.1210 0.0237 0.0529 0.1508 0.1325
0.6351 16.0 320 0.7276 0.1173 0.0240 0.0529 0.1495 0.1245
0.6075 17.0 340 0.7242 0.1194 0.0253 0.0540 0.1521 0.1265
0.5998 18.0 360 0.7223 0.1194 0.0253 0.0540 0.1521 0.1265
0.6072 19.0 380 0.7206 0.1220 0.0293 0.0608 0.1561 0.1265
0.6113 20.0 400 0.7187 0.1192 0.0251 0.0521 0.1521 0.1265
0.5841 21.0 420 0.7168 0.1193 0.0246 0.0510 0.1468 0.1325
0.5645 22.0 440 0.7154 0.1198 0.0247 0.0507 0.1481 0.1325
0.5669 23.0 460 0.7140 0.1153 0.0245 0.0510 0.1389 0.1305
0.5484 24.0 480 0.7133 0.1143 0.0244 0.0512 0.1362 0.1305
0.5494 25.0 500 0.7129 0.1153 0.0245 0.0510 0.1389 0.1305
0.5417 26.0 520 0.7126 0.1151 0.0247 0.0510 0.1362 0.1325
0.5329 27.0 540 0.7127 0.1161 0.0249 0.0509 0.1389 0.1325
0.5262 28.0 560 0.7131 0.1146 0.0257 0.0509 0.1389 0.1285
0.521 29.0 580 0.7127 0.1100 0.0238 0.0491 0.1362 0.1205
0.514 30.0 600 0.7131 0.1136 0.0270 0.0551 0.1389 0.1245
0.5087 31.0 620 0.7132 0.1145 0.0280 0.0551 0.1389 0.1265
0.507 32.0 640 0.7134 0.1144 0.0249 0.0494 0.1389 0.1285
0.5034 33.0 660 0.7136 0.1074 0.0267 0.0550 0.1336 0.1145
0.4992 34.0 680 0.7138 0.1121 0.0282 0.0555 0.1389 0.1205
0.5023 35.0 700 0.7138 0.1121 0.0282 0.0555 0.1389 0.1205
0.4883 36.0 720 0.7138 0.1121 0.0282 0.0555 0.1389 0.1205
0.4953 37.0 740 0.7141 0.1072 0.0269 0.0530 0.1336 0.1145
0.486 38.0 760 0.7144 0.1072 0.0269 0.0530 0.1336 0.1145
0.4766 39.0 780 0.7146 0.1071 0.0239 0.0473 0.1336 0.1165
0.4778 40.0 800 0.7146 0.1077 0.0242 0.0472 0.1310 0.1205
0.48 41.0 820 0.7142 0.1077 0.0242 0.0472 0.1310 0.1205
0.4675 42.0 840 0.7143 0.1077 0.0242 0.0472 0.1310 0.1205
0.4805 43.0 860 0.7148 0.1131 0.0240 0.0473 0.1323 0.1325
0.4743 44.0 880 0.7149 0.1151 0.0276 0.0534 0.1349 0.1325
0.4806 45.0 900 0.7152 0.1157 0.0285 0.0534 0.1362 0.1325
0.469 46.0 920 0.7153 0.1157 0.0285 0.0534 0.1362 0.1325
0.4714 47.0 940 0.7152 0.1158 0.0288 0.0536 0.1362 0.1325
0.4797 48.0 960 0.7152 0.1158 0.0288 0.0536 0.1362 0.1325
0.4639 49.0 980 0.7153 0.1158 0.0289 0.0536 0.1362 0.1325
0.4777 50.0 1000 0.7152 0.1158 0.0289 0.0536 0.1362 0.1325

Framework versions