roberta-finetuned-token-reqzarv2

This model is a fine-tuned version of PlanTL-GOB-ES/roberta-base-bne on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2139
F1 B-cadj: 0.1075
F1 I-cadj: 0.6150
F1 B-peso: 0.3333
F1 I-peso: 0
Macro F1: 0.2640

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0002
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 200
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	F1 B-cadj	F1 I-cadj	F1 B-peso	Macro F1
0.2135	1.0	14	0.1161	0	0	0	0.0
0.1154	2.0	28	0.1111	0	0	0	0.0
0.1108	3.0	42	0.1083	0	0	0	0.0
0.1096	4.0	56	0.1074	0	0	0	0.0
0.1066	5.0	70	0.1071	0	0	0	0.0
0.1024	6.0	84	0.1070	0	0	0	0.0
0.0995	7.0	98	0.0874	0	0	0	0.0
0.0953	8.0	112	0.1068	0	0	0	0.0
0.0991	9.0	126	0.1051	0	0.0762	0	0.0191
0.0967	10.0	140	0.1040	0	0	0	0.0
0.0865	11.0	154	0.1118	0	0.3543	0	0.0886
0.0781	12.0	168	0.1082	0	0.2867	0	0.0717
0.0676	13.0	182	0.1152	0	0.3119	0	0.0780
0.0583	14.0	196	0.1397	0	0.2540	0	0.0635
0.0753	15.0	210	0.0859	0	0.1018	0	0.0255
0.0547	16.0	224	0.1189	0	0.5961	0	0.1490
0.0513	17.0	238	0.1064	0	0.5224	0	0.1306
0.0381	18.0	252	0.1115	0	0.5931	0	0.1483
0.0263	19.0	266	0.1234	0	0.5616	0	0.1404
0.0188	20.0	280	0.1421	0	0.4855	0	0.1214
0.0157	21.0	294	0.1421	0	0.5419	0	0.1355
0.0121	22.0	308	0.1574	0	0.5960	0	0.1490
0.0121	23.0	322	0.1471	0	0.6417	0	0.1604
0.0094	24.0	336	0.1658	0	0.6132	0	0.1533
0.0085	25.0	350	0.1562	0	0.6262	0	0.1566
0.0077	26.0	364	0.1597	0	0.6341	0	0.1585
0.0071	27.0	378	0.1609	0	0.6356	0	0.1589
0.0067	28.0	392	0.1592	0	0.6216	0	0.1554
0.0062	29.0	406	0.1620	0	0.6246	0	0.1561
0.0055	30.0	420	0.1660	0	0.6195	0	0.1549
0.0055	31.0	434	0.1598	0	0.6491	0	0.1623
0.0056	32.0	448	0.1657	0.0213	0.6241	0	0.1613
0.0051	33.0	462	0.1659	0.0504	0.6221	0	0.1681
0.0047	34.0	476	0.1722	0.0201	0.5950	0	0.1538
0.0044	35.0	490	0.1835	0.0599	0.6249	0	0.1712
0.004	36.0	504	0.1906	0.0448	0.6217	0	0.1666
0.0038	37.0	518	0.1916	0.0251	0.6199	0	0.1612
0.0041	38.0	532	0.1759	0.0377	0.6501	0	0.1720
0.0037	39.0	546	0.1832	0.0439	0.6280	0	0.1680
0.0032	40.0	560	0.1944	0.0383	0.6140	0	0.1631
0.0028	41.0	574	0.2015	0.0481	0.5992	0	0.1618
0.0026	42.0	588	0.2015	0.0377	0.6059	0	0.1609
0.0027	43.0	602	0.1935	0.0362	0.6384	0	0.1687
0.0029	44.0	616	0.1909	0.0256	0.6601	0	0.1714
0.0027	45.0	630	0.1978	0.0379	0.6377	0	0.1689
0.0029	46.0	644	0.2103	0.0419	0.5676	0	0.1524
0.0027	47.0	658	0.2059	0.0552	0.5863	0	0.1604
0.0026	48.0	672	0.2017	0.0406	0.6094	0	0.1625
0.0025	49.0	686	0.2079	0.0394	0.6160	0	0.1638
0.0025	50.0	700	0.1981	0.0408	0.6254	0	0.1666
0.0023	51.0	714	0.2032	0.0396	0.6280	0	0.1669
0.0022	52.0	728	0.2001	0.0495	0.6483	0	0.1744
0.0025	53.0	742	0.2115	0.0330	0.6348	0	0.1669
0.0022	54.0	756	0.2130	0.0662	0.6331	0	0.1748
0.0032	55.0	770	0.1950	0.0168	0.5942	0	0.1527
0.0032	56.0	784	0.2313	0.0504	0.6204	0	0.1677
0.0029	57.0	798	0.2140	0.0412	0.6211	0	0.1656
0.0023	58.0	812	0.2258	0.0775	0.6117	0	0.1723
0.0025	59.0	826	0.2376	0.0595	0.6007	0	0.1651
0.0027	60.0	840	0.2345	0.0633	0.5796	0	0.1607
0.0029	61.0	854	0.2105	0.0465	0.6258	0	0.1681
0.0024	62.0	868	0.2078	0.0606	0.6325	0	0.1733
0.0033	63.0	882	0.2330	0.0457	0.4868	0	0.1331
0.003	64.0	896	0.2017	0.0482	0.6147	0	0.1657
0.0035	65.0	910	0.1999	0.0678	0.6061	0	0.1685
0.0026	66.0	924	0.2191	0.0497	0.5258	0.3333	0.2272
0.002	67.0	938	0.2306	0.0541	0.5306	0.25	0.2087
0.0018	68.0	952	0.2100	0.0678	0.5605	0	0.1571
0.0016	69.0	966	0.2120	0.1031	0.6225	0.2222	0.2370
0.0017	70.0	980	0.2068	0.1724	0.6398	0.1818	0.2485
0.004	71.0	994	0.2123	0.0851	0.6491	0	0.1836
0.0029	72.0	1008	0.2207	0.0964	0.5378	0	0.1585
0.0057	73.0	1022	0.1801	0	0.5441	0	0.1360
0.0073	74.0	1036	0.2169	0	0.5407	0	0.1352
0.0044	75.0	1050	0.2022	0	0.5628	0	0.1407
0.0036	76.0	1064	0.2328	0.0513	0.5602	0	0.1529
0.0027	77.0	1078	0.2337	0.0398	0.5673	0	0.1518
0.0024	78.0	1092	0.2316	0.0578	0.5766	0	0.1586
0.0022	79.0	1106	0.2372	0.0690	0.5764	0	0.1613
0.0023	80.0	1120	0.2320	0.0526	0.5970	0	0.1624
0.0022	81.0	1134	0.2316	0.0591	0.5924	0	0.1629
0.0021	82.0	1148	0.2330	0.0543	0.5810	0	0.1588
0.0019	83.0	1162	0.2313	0.0490	0.5753	0	0.1561
0.0017	84.0	1176	0.2261	0.0629	0.5740	0	0.1592
0.0015	85.0	1190	0.2334	0.0550	0.5762	0	0.1578
0.0013	86.0	1204	0.2313	0.0398	0.5779	0.2000	0.2044
0.0012	87.0	1218	0.2344	0.0510	0.5768	0.2222	0.2125
0.0014	88.0	1232	0.2221	0.0440	0.5831	0	0.1568
0.0014	89.0	1246	0.2342	0.0808	0.5729	0.2222	0.2190
0.0015	90.0	1260	0.2029	0.0704	0.6231	0.2000	0.2234
0.002	91.0	1274	0.1961	0.0833	0.6200	0.2857	0.2473
0.0023	92.0	1288	0.2294	0.0545	0.5661	0.25	0.2177
0.0031	93.0	1302	0.2023	0.0735	0.6059	0	0.1699
0.0024	94.0	1316	0.1944	0.0709	0.5888	0	0.1649
0.0021	95.0	1330	0.1978	0.1099	0.595	0.25	0.2387
0.0016	96.0	1344	0.2300	0.1190	0.5763	0.25	0.2363
0.0015	97.0	1358	0.2303	0.125	0.5906	0	0.1789
0.0015	98.0	1372	0.2069	0.1538	0.6350	0	0.1972
0.0013	99.0	1386	0.2099	0.1613	0.6372	0	0.1996
0.0012	100.0	1400	0.2325	0.1067	0.5785	0	0.1713
0.0017	101.0	1414	0.2136	0.1351	0.6077	0.25	0.2482
0.0016	102.0	1428	0.2179	0.0685	0.6428	0.3333	0.2611
0.0016	103.0	1442	0.2165	0.0885	0.6255	0.25	0.2410
0.0024	104.0	1456	0.1996	0.1020	0.6456	0.25	0.2494
0.0012	105.0	1470	0.1929	0.0962	0.6614	0.2000	0.2394
0.0011	106.0	1484	0.2024	0.1299	0.6421	0.2222	0.2485
0.0013	107.0	1498	0.2123	0.1039	0.6025	0.2222	0.2321
0.0016	108.0	1512	0.2185	0.1290	0.6226	0.25	0.2504
0.0015	109.0	1526	0.2080	0.0971	0.6538	0.25	0.2502
0.0046	110.0	1540	0.1995	0.1235	0.6116	0.2222	0.2393
0.0015	111.0	1554	0.2139	0.1075	0.6150	0.3333	0.2640
0.0013	112.0	1568	0.2379	0.1404	0.5376	0	0.1695
0.0013	113.0	1582	0.2485	0.1235	0.5465	0	0.1675
0.0013	114.0	1596	0.2395	0.1509	0.5359	0	0.1717
0.0013	115.0	1610	0.2385	0.1333	0.5406	0	0.1685
0.0011	116.0	1624	0.2347	0.125	0.5528	0	0.1695
0.001	117.0	1638	0.2400	0.1311	0.5585	0	0.1724
0.0009	118.0	1652	0.2411	0.1143	0.5527	0	0.1667
0.0008	119.0	1666	0.2432	0.1194	0.5491	0	0.1671
0.0008	120.0	1680	0.2471	0.1333	0.5488	0	0.1705
0.0008	121.0	1694	0.2470	0.1509	0.5482	0	0.1748
0.0008	122.0	1708	0.2490	0.1404	0.5497	0	0.1725
0.0007	123.0	1722	0.2527	0.1404	0.5510	0	0.1728
0.0007	124.0	1736	0.2505	0.1509	0.5452	0	0.1740
0.0007	125.0	1750	0.2505	0.1600	0.5593	0	0.1798
0.0008	126.0	1764	0.2546	0.1667	0.5477	0	0.1786
0.0008	127.0	1778	0.2519	0.1778	0.5598	0	0.1844
0.001	128.0	1792	0.2421	0.2857	0.5549	0	0.2101
0.0014	129.0	1806	0.2422	0.1633	0.6085	0	0.1929
0.0022	130.0	1820	0.2316	0.1304	0.5284	0	0.1647
0.0026	131.0	1834	0.2201	0.3077	0.5791	0	0.2217
0.0016	132.0	1848	0.2197	0.1951	0.6001	0	0.1988
0.0018	133.0	1862	0.2090	0.2286	0.6690	0	0.2244
0.0063	134.0	1876	0.2171	0.1714	0.5585	0	0.1825
0.0043	135.0	1890	0.2170	0	0.4167	0	0.1042
0.0074	136.0	1904	0.2199	0.1622	0.5628	0	0.1812
0.003	137.0	1918	0.2290	0.2222	0.5621	0	0.1961
0.0029	138.0	1932	0.2237	0.2632	0.5727	0	0.2090
0.0024	139.0	1946	0.2116	0.2128	0.5970	0.2000	0.2525
0.003	140.0	1960	0.1815	0.2	0.6387	0.2000	0.2597
0.0049	141.0	1974	0.2476	0.1538	0.5091	0.2222	0.2213
0.0031	142.0	1988	0.2172	0.3704	0.5426	0.1250	0.2595
0.0037	143.0	2002	0.2633	0.3448	0.4790	0.1818	0.2514
0.0038	144.0	2016	0.2342	0.3571	0.5391	0	0.2241
0.0024	145.0	2030	0.2381	0.1852	0.5289	0	0.1785
0.0023	146.0	2044	0.2329	0.2174	0.5437	0	0.1903
0.0023	147.0	2058	0.2193	0.2703	0.5470	0	0.2043
0.0026	148.0	2072	0.2426	0.2273	0.5151	0	0.1856
0.0024	149.0	2086	0.2637	0.2174	0.4604	0	0.1695
0.0048	150.0	2100	0.2412	0.1852	0.4304	0	0.1539
0.0051	151.0	2114	0.1735	0.1667	0.5985	0	0.1913
0.0032	152.0	2128	0.1953	0.2778	0.5661	0	0.2110
0.0032	153.0	2142	0.2152	0.1818	0.5627	0	0.1861
0.0039	154.0	2156	0.1901	0	0.5807	0	0.1452
0.0047	155.0	2170	0.1808	0.5	0.5153	0	0.2538
0.0029	156.0	2184	0.2113	0.1455	0.5736	0	0.1798
0.0025	157.0	2198	0.2074	0.1905	0.5617	0	0.1880
0.0022	158.0	2212	0.2083	0.1667	0.5871	0	0.1885
0.0024	159.0	2226	0.2045	0.2286	0.5542	0	0.1957
0.0026	160.0	2240	0.1932	0.1600	0.5712	0	0.1828
0.0028	161.0	2254	0.2121	0.1875	0.5501	0	0.1844
0.0046	162.0	2268	0.2448	0	0.4128	0	0.1032
0.0054	163.0	2282	0.2545	0.0667	0.4239	0	0.1226
0.0061	164.0	2296	0.2402	0	0.4781	0	0.1195
0.0034	165.0	2310	0.2198	0.3704	0.5116	0	0.2205
0.002	166.0	2324	0.2474	0.3226	0.5131	0	0.2089
0.0018	167.0	2338	0.2262	0.3846	0.5417	0	0.2316
0.0019	168.0	2352	0.2245	0.2222	0.6040	0	0.2066
0.0024	169.0	2366	0.2111	0.2	0.6025	0	0.2006
0.0021	170.0	2380	0.2328	0.2759	0.5851	0	0.2152
0.002	171.0	2394	0.2277	0.25	0.5645	0	0.2036
0.0018	172.0	2408	0.2204	0.3636	0.5719	0	0.2339
0.0019	173.0	2422	0.2230	0.2759	0.5645	0	0.2101
0.0018	174.0	2436	0.2221	0.2609	0.5605	0	0.2053
0.0017	175.0	2450	0.2351	0.2727	0.5333	0	0.2015
0.0017	176.0	2464	0.2586	0.3077	0.4744	0	0.1955
0.0018	177.0	2478	0.2623	0.3529	0.4725	0	0.2064
0.0017	178.0	2492	0.2666	0.24	0.4796	0	0.1799
0.0055	179.0	2506	0.2532	0.3158	0.4938	0	0.2024
0.0023	180.0	2520	0.2253	0.2727	0.5545	0	0.2068
0.0033	181.0	2534	0.2533	0.2857	0.5616	0	0.2118
0.0051	182.0	2548	0.2946	0.2222	0.5138	0	0.1840
0.0065	183.0	2562	0.2011	0.2105	0.5482	0	0.1897
0.0035	184.0	2576	0.2234	0.3333	0.5151	0	0.2121
0.0029	185.0	2590	0.2378	0.3158	0.5907	0	0.2266
0.0023	186.0	2604	0.2283	0.3529	0.5493	0	0.2256
0.0021	187.0	2618	0.2409	0.25	0.5557	0	0.2014
0.0019	188.0	2632	0.2455	0.3158	0.5449	0	0.2152
0.0018	189.0	2646	0.2539	0.2727	0.5080	0	0.1952
0.0019	190.0	2660	0.2586	0.2727	0.5062	0	0.1947
0.0018	191.0	2674	0.2597	0.2727	0.5043	0	0.1943
0.0017	192.0	2688	0.2542	0.2308	0.5234	0	0.1885
0.0016	193.0	2702	0.2477	0.2069	0.5363	0	0.1858
0.0017	194.0	2716	0.2449	0.2308	0.5455	0	0.1941
0.0018	195.0	2730	0.2424	0.2308	0.5497	0	0.1951
0.0017	196.0	2744	0.2420	0.2	0.5504	0	0.1876
0.0017	197.0	2758	0.2418	0.2143	0.5515	0	0.1915
0.0017	198.0	2772	0.2426	0.24	0.5534	0	0.1984
0.0017	199.0	2786	0.2419	0.2308	0.5564	0	0.1968
0.0017	200.0	2800	0.2417	0.25	0.5560	0	0.2015

Framework versions

Transformers 4.28.1
Pytorch 2.0.0
Datasets 2.1.0
Tokenizers 0.13.3

roberta-finetuned-token-reqzarv2

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

NSDT 3DConvert

UnrealSynth

DreamTexture.js