Introdução

Modelo treinado a partir do Bertimbau da Neuralmind (https://huggingface.co/neuralmind/bert-base-portuguese-cased) em um dataset chamado B2W-Reviews01. Que é um corpus aberto de reviews de produtos. Ele contém mais de 130 mil avaliações de clientes de comércio eletrônico, coletadas no site da Americanas.com (https://github.com/americanas-tech/b2w-reviews01) O modelo rodou por apenas 50 minutos (3 épocas) numa instância do google com a GPU T4.

O propósito desse projeto é totalmente para fins didáticos, onde a ideia é mostrar como fazer fine tunning de modelos para outras tarefas de NLP além da geração de textos. Encorajo quem encotrar esse repositório à rodar ele por muito mais tempo para conseguir melhores resultados.

Resultados

• Epoch 1:

  • Training Loss: 0.863100
  • Validation Loss: 0.873007
  • Accuracy: 0.621733
  • f1_score: 0.491815

• Epoch 2:

  • Training Loss: 0.802800
  • Validation Loss: 0.897009
  • Accuracy: 0.620914
  • f1_score: 0.554796

• Epoch 3:

  • Training Loss: 0.692400
  • Validation Loss: 0.966356
  • Accuracy: 0.619210
  • f1_score: 0.557672

Github

No repositório (https://github.com/ramoonmedeiro/LLMTasks/tree/main/text-classification) pode ser encontrado o notebook na qual o fine tunning foi realizado.