Spanish Alpaca mT5

Este repositorio contiene un modelo mT5 entrenado con el dataset Bertin Project - Alpaca Spanish que además ha sido limpiado y editado por el autor. Puede ponerse en contacto con el autor a través de su cuenta de twitter: @jalbarracin

Uso

Usando el modelo

El modelo mT5 en español puede usarse en python siguiendo este ejemplo:

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

model = 'jalbarracin/spanish-alpaca-mT5'
model_tokenizer = 'jalbarracin/spanish-alpaca-mT5'
tokenizer = AutoTokenizer.from_pretrained(model_tokenizer)
model = AutoModelForSeq2SeqLM.from_pretrained(model).to('cpu') #puedes cambiar a 'cuda' si tienes GPU

input_text ="""instrut5: QuanticoTrends (https://www.quanticotrends.com/) se dedica al monitoreo de redes sociales para empresas. Escribe un anuncio para anunciar los servicios de QuanticoTrends en facebook<in></in>"""

inputs = tokenizer(input_text, return_tensors="pt").to('cpu') #puedes cambiar a 'cuda' si tienes GPU

outputs = model.generate(inputs["input_ids"],
                         do_sample = True,
                         max_length = 256, #puedes subir este parametro hasta 500
                         num_return_sequences=3, #recomiendo hasta 6 para que no demore mucho
                         top_k=50,
                         top_p=0.90,
                        )
detok_outputs = [tokenizer.decode(x, skip_special_tokens=True) for x in outputs]

for output in detok_outputs: 
    print(output)
    print("\n") # imprime un salto de linea para separar cada uno de los outputs (en el caso que num_return_sequences sea mayor que 1)

El output de este ejemplo:

¡¿Echa un vistazo a nosotros y descubre los servicios de QuanticoTrends en Facebook! Observa el rendimiento de tus sitios web, recopila información de empresas, construye relaciones con otros usuarios e incluso realiza un seguimiento de tus campañas. ¡Disfruta de las herramientas que necesitas para hacer la transición a la realidad virtual! #QuanticoTrends #Marketing #Sostenibilidad

¡Bienvenido a QuanticoTrends! Estamos dedicados al monitoreo de redes sociales para empresas y nuestro servicio al cliente. Nuestro monitoreo de redes sociales está diseñado para brindar a los usuarios la mejor experiencia, consejos y consejos para tomar decisiones inteligentes y productivas para nuestras empresas. ¡Únete a nosotros hoy para estar al día con las tendencias de QuanticoTrends!

¡Aprovecha nuestra especialidad de monitoreo de redes sociales para empresas! Regístrate ahora y crea una nueva selección de servicios y recursos que se adaptan a tus intereses y necesidades. # QuanticoTrends #empresas # MonitoreoDe redes sociales #MantenteSeguro #Visibilidad

Colab Notebook de ejemplo

Puedes acceder al notebook para que pruebes el modelo aqui: [Modelo Spanish Alpaca mT5] (https://colab.research.google.com/drive/1yWwMH0Opk1C10emYTfYhDWEPVNE7insw)

Este modelo ha sido entrenado con la base de datos es una versión más pequeña del modelo google/mt5-base con embeddings solo en español y algunas en inglés obtenidas de https://huggingface.co/JorgeSarry/ El número de parámetros del modelo es de 244 millones de parámetros, lo que da como resultado un modelo de 0,9 GB, el 42 % del original.

Puedes usar este modelo utilizando el tag "instrut5:"

La gran ventaja es que produce buenos resultados, muchas veces en menos de 1 segundo en CPU.

=====

This is a smaller version of the google/mt5-base model with only Spanish and some English embeddings obtained from https://huggingface.co/JorgeSarry/ The number of model parameters is 244M parameters, resulting on a model of 0.9GB - 42% of the original one.

You can use this model starging with the tag "instrut5:"

The best advantage is that this model produces good results, some times in less than 1 second on CPU