from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("svjack/gpt-dialogue")

model = AutoModelForCausalLM.from_pretrained("svjack/gpt-dialogue")

tokenizer.decode(
model.generate(
    tokenizer.encode(
            "你认为今天的天气怎么样？", return_tensors="pt", add_special_tokens=True
        ), max_length = 128,
    num_beams=2,
    top_p = 0.95,
    top_k = 50,
    repetition_penalty = 2.5,
    length_penalty=1.0,
    early_stopping=True,
)[0],
skip_special_tokens = True
)

'''
'你 认 为 今 天 的 天 气 怎 么 样 ？
我 认 为 这 会 很 冷 ， 但 是 春 天 是 如 此 美 丽 。
您 最 喜 欢 哪 个 季 节 ？
我 真 的 不 知 道 。 也 许 在 山 上 有 一 些 雪 松 石 。
听 起 来 不 错 。 我 们 可 以 去 海 滩 吗 ？
当 然 。 我 们 应 该 尽 快 去 那 里 。
好 的 。 让 我 们 看 看 它 是 否 准 备 好 了 。
现 在 下 雨 了 。
我 们 要 去 哪 里 见 面 ？
我 们'
'''