对 llama 7b 采用斯坦福提供的训练集进行中文训练，使用PeftModel的lora训练的权重

使用方法

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")

model = LlamaForCausalLM.from_pretrained( "decapoda-research/llama-7b-hf", load_in_8bit=True, torch_dtype=torch.float16, device_map="auto", )

model = PeftModel.from_pretrained( model, "yinfupai/alpaca_7b_zh", torch_dtype=torch.float16 )

例子

• Q：你在做什么？
• BOT：我正在写一篇文章，旨在解释如何使用机器学习来改善客户服务.
• Q: 这是帮谁写的文章？
• BOT: 约翰·托马斯.
• Q: 为什么要帮他写文章?
• BOT: 因为约翰·托马斯是一位知名的机器学习和数据科学专家.

请用python给出斐波纳契数列的代码.

def fibonacci(n):

if n == 0: 

    return 0 
    
elif n == 1: 

    return 1 
    
else:    

    return fibonacci(n-1) + fibonacci(n-2)

一些问题

• 对于音译过来中文的词语,有些在名词有多种汉字写法,这些不同,可能会影响到结果.
• 输出答案有时与问题无关,正确的提问才能得到答案
• 模型的能力虽然得到了一定的提升,但对于7B的模型来说,依然不够显著
• 运行速度极较慢

license: other