Training procedure
The following bitsandbytes quantization config was used during training:
- quant_method: bitsandbytes
- load_in_8bit: False
- load_in_4bit: True
- llm_int8_threshold: 6.0
- llm_int8_skip_modules: None
- llm_int8_enable_fp32_cpu_offload: False
- llm_int8_has_fp16_weight: False
- bnb_4bit_quant_type: nf4
- bnb_4bit_use_double_quant: True
- bnb_4bit_compute_dtype: bfloat16
Framework versions
model
this model bloomz trained on arabic dateset for summarizition of messeges
format
name of person 1:conversion of 1 \n name of person2 :conversion 2 .......until end then add f"\n\nSummarize the previous text in three sentences in arabic:\n\n"
widget:
- text: إيليا: مهلا ، في طريقي إلى المكتب.هل يمكنك أن ترسل لي هذا جدول الأعمال لهذا اليوم؟\n بريت: بالتأكيد.إنه جاهز فقط\n إيليا: شكرا.هل كيتلين هناك حتى الآن؟\n بريت: لا ، ليس بعد\n إيليا: حسنًا ، فقط أتساءل.لدينا مكالمة جماعية في التاسعة.\n بريت: هل هذا مع مؤسسة الكرم؟\n إيليا: نعم ، إنهم يفكرون في طلب المنح لدينا ، لكنهم أرادوا إجراء مقابلة معنا أولاً\n بريت: حسنًا ، حظًا سعيدًا في ذلك\n إيليا: شكرا.\n بريت: أرسل للتو جدول أعمال.\n إيليا: حسنًا.سأخبرك عندما أحصل عليه.هل يمكنك التحقق مما إذا كان مارتن هناك؟أنا بحاجة إلى رد على بريد إلكتروني أرسلته إليه\n بريت: إنه على الهاتف ، لكنني سأتحدث معه في أقرب وقت\n إيليا: شكرا.ذكّرني: هل حفلة عيد الميلاد غدًا؟\n بريت: تم تأجيله إلى الخميس.أرسلنا سكوت جميعًا تحديثًا.\n إيليا: هذا صحيح.لا أعرف أين كانت عقلي هذا الأسبوع\n بريت: أعتقد أنني أسمع مارتن يختتم دعوته الآن.\n إيليا: حسنًا ، عظيم.\n بريت: تحدثت معه للتو.إنه يرسل لك البريد الإلكتروني الآن\n إيليا: شكرا رجل.فقط حصلت على جدول الأعمال أيضا.سأراك قليلا.\n بريت: أراك قليلا
- text:نانسي: هل شاهدت هذا الفيلم الجديد مع ليدي غاغا؟\n زوي: نجم ولد؟\n زوي: إنه رائع!\n زوي: غاغا ليست مغنية رائعة فحسب ، بل ممثلة رائعة أيضًا\n نانسي: وبرادلي كوبر؟\n نانسي: أنا في حالة حب <3\n زوي: كانت الموسيقى رائعة أيضًا\n نانسي: متنوعة جدا\n زوي: وقصة الحب ....\n زوي: بسيط جدا ولكن أصيل جدا\n نانسي: لقد تأثرت به حقًا\n زوي: نحن بالتأكيد بحاجة إلى رؤيته مرة أخرى\n نانسي: بالتأكيد!
- text:إميلي: 👻\n إميلي: مرحبا.هل تشعر بالرغبة في تناول العشاء في ناندو الليلة؟\n إميلي: يمكنني حجز طاولة\n باكو: بالتأكيد ، اذهب إليها\n مايكل: نعم من فضلك.أنا على وشك أخذ الأنبوب إلى المنزل الآن\n مايكل: أرغب في الاستحمام قبل الخروج ، هل يمكنك حجز الجدول ، على سبيل المثال ، 8 مساءً؟\n إميلي: بالتأكيد ، لا مشكلة\n مايكل: أراك قريبًا على أي حال\n إميلي: بارد\n باكو: 👌
- PEFT 0.6.0.dev0