6_e_200-tiny_tobacco3482_kd_CEKD_t1.5_a0.7

This model is a fine-tuned version of WinKawaks/vit-tiny-patch16-224 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.4925
Accuracy: 0.845
Brier Loss: 0.2526
Nll: 1.5547
F1 Micro: 0.845
F1 Macro: 0.8258
Ece: 0.1785
Aurc: 0.0736

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	1.0	25	1.8463	0.245	0.8631	4.7256	0.245	0.2002	0.2955	0.7640
No log	2.0	50	1.1593	0.535	0.5972	2.7208	0.535	0.4319	0.2539	0.2591
No log	3.0	75	0.9039	0.67	0.4555	2.3747	0.67	0.5677	0.2448	0.1349
No log	4.0	100	0.7631	0.73	0.3757	1.5518	0.7300	0.7026	0.1947	0.0987
No log	5.0	125	0.7412	0.775	0.3497	1.4677	0.775	0.7456	0.2239	0.0892
No log	6.0	150	0.9198	0.72	0.3977	1.7618	0.72	0.6958	0.2190	0.1118
No log	7.0	175	0.6117	0.81	0.2969	1.2112	0.81	0.7726	0.2244	0.0661
No log	8.0	200	0.6296	0.78	0.3090	1.3439	0.78	0.7443	0.1959	0.0771
No log	9.0	225	0.6850	0.785	0.3187	1.6325	0.785	0.7651	0.2194	0.0986
No log	10.0	250	0.6304	0.79	0.3111	1.3598	0.79	0.7821	0.2106	0.0838
No log	11.0	275	0.6668	0.775	0.3242	1.9754	0.775	0.6942	0.2005	0.0947
No log	12.0	300	0.6795	0.775	0.3263	1.6182	0.775	0.7692	0.2155	0.0875
No log	13.0	325	0.5156	0.85	0.2454	0.9647	0.85	0.8378	0.2033	0.0515
No log	14.0	350	0.5341	0.845	0.2644	1.0410	0.845	0.8402	0.2050	0.0503
No log	15.0	375	0.4678	0.865	0.2245	0.9232	0.865	0.8564	0.1836	0.0363
No log	16.0	400	0.5620	0.82	0.2819	1.1475	0.82	0.7980	0.2050	0.0710
No log	17.0	425	0.5253	0.83	0.2642	0.8809	0.83	0.8145	0.1811	0.0723
No log	18.0	450	0.6295	0.815	0.2997	1.8144	0.815	0.8062	0.2120	0.0636
No log	19.0	475	0.5748	0.83	0.2774	1.7900	0.83	0.8200	0.1920	0.0506
0.466	20.0	500	0.4704	0.84	0.2275	0.8869	0.8400	0.8135	0.1882	0.0472
0.466	21.0	525	0.5693	0.82	0.2820	1.3315	0.82	0.8013	0.2011	0.0821
0.466	22.0	550	0.5251	0.81	0.2677	1.2663	0.81	0.7890	0.2037	0.0745
0.466	23.0	575	0.5158	0.83	0.2638	1.2621	0.83	0.8070	0.1927	0.0614
0.466	24.0	600	0.5056	0.835	0.2590	1.5337	0.835	0.8080	0.1887	0.0617
0.466	25.0	625	0.4897	0.85	0.2476	1.4341	0.85	0.8361	0.1870	0.0627
0.466	26.0	650	0.4994	0.85	0.2556	1.5846	0.85	0.8302	0.1965	0.0718
0.466	27.0	675	0.4720	0.845	0.2406	1.3093	0.845	0.8234	0.1873	0.0704
0.466	28.0	700	0.4858	0.84	0.2486	1.4459	0.8400	0.8192	0.1676	0.0730
0.466	29.0	725	0.4908	0.84	0.2510	1.4941	0.8400	0.8159	0.1754	0.0717
0.466	30.0	750	0.4805	0.855	0.2442	1.3279	0.855	0.8334	0.1827	0.0667
0.466	31.0	775	0.4783	0.845	0.2428	1.4150	0.845	0.8264	0.1759	0.0660
0.466	32.0	800	0.4822	0.855	0.2449	1.4848	0.855	0.8322	0.1928	0.0702
0.466	33.0	825	0.4845	0.84	0.2462	1.4925	0.8400	0.8227	0.1837	0.0692
0.466	34.0	850	0.4843	0.85	0.2466	1.4881	0.85	0.8295	0.1752	0.0683
0.466	35.0	875	0.4837	0.85	0.2464	1.4939	0.85	0.8295	0.1842	0.0718
0.466	36.0	900	0.4843	0.85	0.2467	1.4910	0.85	0.8295	0.1950	0.0705
0.466	37.0	925	0.4862	0.85	0.2479	1.4938	0.85	0.8295	0.1871	0.0713
0.466	38.0	950	0.4854	0.85	0.2478	1.4945	0.85	0.8295	0.1859	0.0719
0.466	39.0	975	0.4850	0.85	0.2471	1.4891	0.85	0.8295	0.1855	0.0724
0.0749	40.0	1000	0.4869	0.85	0.2484	1.4967	0.85	0.8295	0.1969	0.0718
0.0749	41.0	1025	0.4857	0.85	0.2482	1.5544	0.85	0.8295	0.1904	0.0726
0.0749	42.0	1050	0.4872	0.85	0.2487	1.5559	0.85	0.8295	0.1877	0.0732
0.0749	43.0	1075	0.4873	0.85	0.2488	1.5534	0.85	0.8295	0.1871	0.0723
0.0749	44.0	1100	0.4870	0.85	0.2489	1.5542	0.85	0.8295	0.1787	0.0730
0.0749	45.0	1125	0.4874	0.85	0.2490	1.5544	0.85	0.8295	0.1867	0.0724
0.0749	46.0	1150	0.4868	0.85	0.2486	1.5531	0.85	0.8295	0.1954	0.0723
0.0749	47.0	1175	0.4879	0.85	0.2493	1.5546	0.85	0.8295	0.1842	0.0727
0.0749	48.0	1200	0.4882	0.85	0.2495	1.5537	0.85	0.8295	0.1864	0.0730
0.0749	49.0	1225	0.4875	0.85	0.2492	1.5537	0.85	0.8295	0.1884	0.0727
0.0749	50.0	1250	0.4880	0.85	0.2494	1.5528	0.85	0.8295	0.1877	0.0726
0.0749	51.0	1275	0.4888	0.85	0.2499	1.5539	0.85	0.8295	0.1754	0.0725
0.0749	52.0	1300	0.4894	0.85	0.2501	1.5540	0.85	0.8295	0.1883	0.0736
0.0749	53.0	1325	0.4889	0.85	0.2501	1.5533	0.85	0.8295	0.1708	0.0727
0.0749	54.0	1350	0.4891	0.85	0.2500	1.5531	0.85	0.8295	0.1785	0.0729
0.0749	55.0	1375	0.4904	0.85	0.2509	1.5541	0.85	0.8295	0.1744	0.0730
0.0749	56.0	1400	0.4903	0.85	0.2507	1.5541	0.85	0.8295	0.1897	0.0730
0.0749	57.0	1425	0.4894	0.85	0.2503	1.5536	0.85	0.8295	0.1792	0.0730
0.0749	58.0	1450	0.4889	0.85	0.2501	1.5531	0.85	0.8295	0.1892	0.0730
0.0749	59.0	1475	0.4907	0.85	0.2511	1.5542	0.85	0.8295	0.1767	0.0733
0.0712	60.0	1500	0.4897	0.85	0.2506	1.5540	0.85	0.8295	0.1813	0.0732
0.0712	61.0	1525	0.4906	0.85	0.2512	1.5545	0.85	0.8295	0.1853	0.0733
0.0712	62.0	1550	0.4905	0.85	0.2512	1.5541	0.85	0.8295	0.1723	0.0733
0.0712	63.0	1575	0.4904	0.85	0.2512	1.5543	0.85	0.8295	0.1817	0.0732
0.0712	64.0	1600	0.4915	0.85	0.2515	1.5544	0.85	0.8295	0.1942	0.0736
0.0712	65.0	1625	0.4898	0.85	0.2506	1.5534	0.85	0.8295	0.1712	0.0735
0.0712	66.0	1650	0.4911	0.85	0.2516	1.5548	0.85	0.8295	0.1824	0.0733
0.0712	67.0	1675	0.4908	0.85	0.2513	1.5546	0.85	0.8295	0.1896	0.0734
0.0712	68.0	1700	0.4911	0.85	0.2516	1.5548	0.85	0.8295	0.1744	0.0734
0.0712	69.0	1725	0.4912	0.85	0.2516	1.5541	0.85	0.8295	0.1726	0.0733
0.0712	70.0	1750	0.4910	0.85	0.2514	1.5543	0.85	0.8295	0.1827	0.0736
0.0712	71.0	1775	0.4918	0.85	0.2520	1.5546	0.85	0.8295	0.1909	0.0736
0.0712	72.0	1800	0.4916	0.85	0.2519	1.5545	0.85	0.8295	0.1830	0.0734
0.0712	73.0	1825	0.4913	0.85	0.2517	1.5540	0.85	0.8295	0.1835	0.0733
0.0712	74.0	1850	0.4918	0.85	0.2521	1.5544	0.85	0.8295	0.1831	0.0736
0.0712	75.0	1875	0.4919	0.85	0.2521	1.5548	0.85	0.8295	0.1829	0.0734
0.0712	76.0	1900	0.4916	0.85	0.2520	1.5547	0.85	0.8295	0.1831	0.0733
0.0712	77.0	1925	0.4919	0.85	0.2521	1.5542	0.85	0.8295	0.1732	0.0735
0.0712	78.0	1950	0.4920	0.85	0.2521	1.5541	0.85	0.8295	0.1831	0.0734
0.0712	79.0	1975	0.4920	0.85	0.2522	1.5544	0.85	0.8295	0.1833	0.0734
0.0712	80.0	2000	0.4922	0.845	0.2523	1.5549	0.845	0.8258	0.1859	0.0735
0.0712	81.0	2025	0.4920	0.85	0.2522	1.5542	0.85	0.8295	0.1830	0.0732
0.0712	82.0	2050	0.4920	0.845	0.2522	1.5549	0.845	0.8258	0.1783	0.0734
0.0712	83.0	2075	0.4922	0.85	0.2524	1.5546	0.85	0.8295	0.1832	0.0734
0.0712	84.0	2100	0.4920	0.845	0.2522	1.5543	0.845	0.8258	0.1784	0.0735
0.0712	85.0	2125	0.4921	0.845	0.2523	1.5547	0.845	0.8258	0.1785	0.0735
0.0712	86.0	2150	0.4921	0.85	0.2523	1.5545	0.85	0.8295	0.1836	0.0733
0.0712	87.0	2175	0.4924	0.85	0.2524	1.5547	0.85	0.8295	0.1836	0.0734
0.0712	88.0	2200	0.4925	0.845	0.2524	1.5548	0.845	0.8258	0.1785	0.0735
0.0712	89.0	2225	0.4924	0.85	0.2525	1.5548	0.85	0.8295	0.1835	0.0734
0.0712	90.0	2250	0.4921	0.845	0.2523	1.5545	0.845	0.8258	0.1688	0.0735
0.0712	91.0	2275	0.4925	0.845	0.2525	1.5546	0.845	0.8258	0.1785	0.0735
0.0712	92.0	2300	0.4924	0.845	0.2524	1.5546	0.845	0.8258	0.1785	0.0736
0.0712	93.0	2325	0.4925	0.845	0.2526	1.5548	0.845	0.8258	0.1785	0.0736
0.0712	94.0	2350	0.4924	0.845	0.2525	1.5547	0.845	0.8258	0.1786	0.0736
0.0712	95.0	2375	0.4926	0.845	0.2526	1.5547	0.845	0.8258	0.1785	0.0736
0.0712	96.0	2400	0.4925	0.845	0.2526	1.5548	0.845	0.8258	0.1785	0.0736
0.0712	97.0	2425	0.4925	0.845	0.2526	1.5547	0.845	0.8258	0.1785	0.0735
0.0712	98.0	2450	0.4926	0.845	0.2526	1.5548	0.845	0.8258	0.1785	0.0736
0.0712	99.0	2475	0.4925	0.845	0.2526	1.5548	0.845	0.8258	0.1785	0.0736
0.0711	100.0	2500	0.4925	0.845	0.2526	1.5547	0.845	0.8258	0.1785	0.0736

Framework versions

Transformers 4.30.2
Pytorch 1.13.1
Datasets 2.13.1
Tokenizers 0.13.3

6_e_200-tiny_tobacco3482_kd_CEKD_t1.5_a0.7

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

NSDT 3DConvert

UnrealSynth

DreamTexture.js