<!-- markdownlint-disable first-line-h1 --> <!-- markdownlint-disable html --> <div align="center"> <h1> Sakura-13B-Galgame </h1> </div>

<p align="center"> 🦉 <a href="https://github.com/pipixia244/Sakura-13B-Galgame" target="_blank">GitHub</a> | 🤖 <a href="https://www.modelscope.cn/models/sakuraumi/Sakura-13B-Galgame" target="_blank">ModelScope</a> </p>

介绍

基于LLaMA2-13B，OpenBuddy(v0.1-v0.4)，Baichuan2-13B(v0.5,v0.8)和Qwen-14B(v0.7)构建，在Galgame中日文本数据上进行微调，旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型. 新建了TG交流群，欢迎交流讨论。

网站：轻小说机翻机器人已接入Sakura模型(v0.8-4bit)，站内有大量模型翻译结果可供参考。

轻小说机翻机器人网站是一个自动生成轻小说机翻并分享的网站。你可以浏览日文网络小说，或者上传Epub/Txt文件，并生成机翻。

模型下载：

目前仍为实验版本，翻译质量较差.

lsp们最关注的翻译R18轻小说的效果：使用这本r18小说的部分文本，比较各版本输出文本(其中GPT网页端和API均无法翻译)，结果已上传至链接

显存需求

使用v0.8版本进行测试，模型生成参数与仓库中generation_config.json一致，显存占用数据取自nvidia-smi

快速开始

首先将SakuraLLM/TranslationScript仓库拉取到本地。

• 翻译Epub文件

仓库提供了翻译脚本translate_epub.py（感谢CjangCjengh），用于翻译Epub格式的小说。使用示例如下：

# 参数说明：
# --model_name_or_path：模型本地路径或者huggingface仓库id。
# --model_version：模型版本，本仓库README表格中即可查看。可选范围：['0.1', '0.4', '0.5', '0.7', '0.8']
# --use_gptq_model：如果模型为gptq量化模型，则需加此项；如是全量模型，则不需要添加。
# --text_length：文本分块的最大单块文字数量。
# --data_path：日文原文Epub小说文件路径。
# --data_folder：批量翻译Epub小说时，小说所在的文件夹路径
# --output_folder：翻译后的Epub文件输出路径（注意是文件夹路径）。
# --trust_remote_code：是否允许执行外部命令（对于0.5，0.7，0.8版本模型需要加上这个参数，否则报错。
# --llama：如果你使用的模型是llama家族的模型（对于0.1，0.4版本），则需要加入此命令。
# 以下为一个例子
python translate_epub.py \
    --model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit \
    --trust_remote_code \
    --model_version 0.8 \
    --use_gptq_model \
    --text_length 512 \
    --data_path novel.epub \
    --output_folder output

• 翻译纯文本

仓库提供了翻译脚本translate_novel.py，用于翻译轻小说等纯文本格式，支持输出中日对照文本。使用示例如下：

# 参数说明：
# --model_name_or_path：模型本地路径或者huggingface仓库id。
# --model_version：模型版本，本仓库README表格中即可查看。可选范围：['0.1', '0.4', '0.5', '0.7', '0.8']
# --use_gptq_model：如果模型为gptq量化模型，则需加此项；如是全量模型，则不需要添加。
# --text_length：文本分块的最大单块文字数量。每块文字量将在text_length/2至text_length内随机选择。
# --compare_text：是否需要输出中日对照文本，如需要，则需加此项；如不需要则不要添加。
# --data_path：日文原文文件路径
# --output_path：翻译(或对照)文本输出文件路径
# --trust_remote_code：是否允许执行外部命令（对于0.5，0.7，0.8版本模型需要加上这个参数，否则报错。
# --llama：如果你使用的模型是llama家族的模型（对于0.1，0.4版本），则需要加入此命令。
# 以下为一个例子
python translate_novel.py \
    --model_name_or_path SakuraLLM/Sakura-13B-LNovel-v0_8-4bit \
    --trust_remote_code \
    --model_version 0.8 \
    --use_gptq_model \
    --text_length 512 \
    --data_path data.txt \
    --output_path data_translated.txt \
    --compare_text

日志

20231026：上传第五版模型sakura-13b-2epoch-3.8M-1025-v0.8，改善数据集质量与格式，修复之前版本模型无法正确解析\n的问题，使用Baichuan2-13B-Chat模型进行微调。

20231011：上传第四版模型sakura-14b-2epoch-4.4M-1003-v0.7，改用QWen-14B-Chat模型进行微调，增加数据集。

20230917：上传第三版模型sakura-13b-2epoch-2.6M-0917-v0.5，改用Baichuan2-13B-Chat模型进行微调，翻译质量有所提高。

20230908：上传第二版模型sakura-13b-1epoch-2.6M-0903-v0.4，使用Galgame和轻小说数据集进行微调，语法能力有所提高。轻小说数据集感谢CjangCjengh大佬提供。

20230827：上传第一版模型sakura-13b-2epoch-260k-0826-v0.1

模型详情

描述

v0.1-v0.4

• Finetuned by SakuraUmi
• Finetuned on Openbuddy-LLaMA2-13B
• Base model: LLaMA2-13B
• Languages: Chinese/Japanese

v0.5

• Finetuned by SakuraUmi
• Finetuned on Baichuan2-13B-Chat
• Base model: Baichuan2-13B-Base
• Languages: Chinese/Japanese

v0.7

• Finetuned by SakuraUmi
• Finetuned on Qwen-14B-Chat
• Base model: Qwen-14B
• Languages: Chinese/Japanese

v0.8

• Finetuned by SakuraUmi
• Finetuned on Baichuan2-13B-Chat
• Base model: Baichuan2-13B-Base
• Languages: Chinese/Japanese

版本

v0.8

数据集：约3.8M条galgame与轻小说中日平行语料(共约0.25B字数)

微调方式：全参数

微调epoch数：2

参数量：13.9B

v0.7

数据集：约1M 条Galgame中日平行语料 + 约3.4M 条轻小说中日平行语料(共约0.3B字数)

微调方式：全参数

微调epoch数：2

参数量：14B

v0.5

数据集：约260k 条Galgame中日平行语料 + 约2.3M 条轻小说中日平行语料(共约0.17B字数)

微调方式：全参数

微调epoch数：2

参数量：13B

v0.4

数据集：约260k 条Galgame中日平行语料 + 约2.3M 条轻小说中日平行语料(共约0.17B字数)

微调方式：全参数

微调epoch数：1

参数量：13B

v0.1

数据集：约260k 条Galgame中日平行语料(共约10M字数)

微调方式：全参数

微调epoch数：2

参数量：13B

效果

• Galgame

• 轻小说(全龄)

使用该仓库的测试文本，仓库内提供了测试代码，测试文本以及v0.5版本的测试结果。使用该仓库代码在v0.7模型上对测试文本进行测试的结果已上传到sakuraumi/Sakura-13B-Galgame-Archived。

• 轻小说(R18)

使用这本r18小说的部分文本，比较各版本输出文本(其中GPT网页端和API均无法翻译)，结果已上传至链接

推理

• Galgame翻译的prompt构建：

  • v0.1

    input_text = "" # 用户输入
    query = "将下面的日文文本翻译成中文：" + input_text
    prompt = "Human: \n" + query + "\n\nAssistant: \n"
    

  • v0.4

    input_text = "" # 用户输入
    query = "将下面的日文文本翻译成中文：" + input_text
    prompt = "User: " + query + "\nAssistant: "
    

  • v0.5与v0.8

    input_text = "" # 用户输入
    query = "将下面的日文文本翻译成中文：" + input_text
    prompt = "<reserved_106>" + query + "<reserved_107>"
    

  • v0.7 参考Qwen-14B-Chat的prompt构造方式：这里和这里

• 推理与解码参数：

注：若出现退化，可参考SakuraLLM/TranslationScript仓库内脚本的方法解决。

• 量化：

根据transformers文档中给出的AutoGPTQ量化教程自行量化，或使用我们已经量化好的模型。

使用量化模型推理的示例代码(v0.8与v0.5版本)：

from transformers import AutoTokenizer, GenerationConfig
from auto_gptq import AutoGPTQForCausalLM

path = "path/to/your/model"
text = "" #要翻译的文本

generation_config = GenerationConfig.from_pretrained(path)
tokenizer = AutoTokenizer.from_pretrained(path, use_fast=False, trust_remote_code=True)
model = AutoGPTQForCausalLM.from_quantized(path, device="cuda:0", trust_remote_code=True)

response = tokenizer.decode(model.generate(**tokenizer(f"<reserved_106>将下面的日文文本翻译成中文：{text}<reserved_107>", return_tensors="pt").to(model.device), generation_config=generation_config)[0]).replace("</s>", "").split("<reserved_107>")[1]
print(response)

微调

流程与LLaMA2(v0.1-v0.4)/Baichuan2(v0.5+)/Qwen14B(v0.7)一致，prompt构造参考推理部分

后续工作

1. 优化数据集，主要优化数据集质量
2. 支持上下文理解
3. 支持指定专有名词

致谢

• CjangCjengh

• ryank231231

• KurikoMoe

• FishHawk

• K024

• minaduki-sora

• Kimagure7

• YYF233333

Copyright Notice

This model is built upon Meta's LLaMA series of models and is subject to Meta's licensing agreement.

This model is intended for use only by individuals who have obtained approval from Meta and are eligible to download LLaMA.

If you have not obtained approval from Meta, you must visit the https://ai.meta.com/llama/ page, read and agree to the model's licensing agreement, submit an application, and wait for approval from Meta before downloading the model from this page.