Sakura-13B-Galgame-GGUF

QuantFactory/Sakura-13B-Galgame-GGUF

发布机构QuantFactory

下载访问条件魔搭来源

[](https://hf.co/QuantFactory) QuantFactory/Sakura-13B-Galgame-GGUF This is quantized version of sakuraumi/Sakura-13B-Galgame created using llama.cpp

文字对话

查看完整下载方法镜像仓库说明与许可证 ↗

模型详情

模型介绍

中文整理

[](https://hf.co/QuantFactory)

QuantFactory/Sakura-13B-Galgame-GGUF

This is quantized version of sakuraumi/Sakura-13B-Galgame created using llama.cpp

Original Model Card

Sakura-13B-Galgame

🦉 GitHub 🤖 ModelScope

目前Sakura发布的所有模型均采用CC BY-NC-SA 4.0协议，Sakura所有模型与其衍生模型均禁止任何形式的商用！Sakura系列所有模型皆仅供学习交流使用，开发者对使用Sakura模型造成的问题不负任何责任。

介绍

基于一系列开源大模型构建，在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调，旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型。

目前仍为实验版本，v0.9版本模型在文风、流畅度与准确性上均强于GPT-3.5，但词汇量略逊于GPT-3.5（主观评价）.

同时提供了运行模型的API后端，适配OpenAI API格式。

新建了TG交流群，欢迎交流讨论。

对于其他适配本模型的项目如使用非本项目提供的prompt格式进行翻译，不保证会获得与README中的说明一致的质量！**

如果使用模型翻译并发布，请在最显眼的位置标注机翻！！！！！开发者对于滥用本模型造成的一切后果不负任何责任。**

由于模型一直在更新，请同时注明使用的模型版本等信息，方便进行质量评估和更新翻译。

对于模型翻译的人称代词问题（错用，乱加，主宾混淆，男女不分等）和上下文理解问题，如果有好的想法或建议，欢迎提issue！**

TODO：见https://github.com/SakuraLLM/Sakura-13B-Galgame/issues/42

快速开始

教程：

详见本仓库Wiki.

模型下载：

参数量发布时间-底模-版本 Transformers模型 GGUF量化模型

:-------: :-------: :-------: :-------:

32B 20240508-Qwen1.5-32B-v0.9 - 🤗 Sakura-32B-Qwen2beta-v0.9-GGUF

20240508-Qwen1.5-32B-v0.10pre1 - 🤗 Sakura-32B-Qwen2beta-v0.10pre1-GGUF

14B 20240111-Qwen-14B-v0.9 🤗 Sakura-13B-LNovel-v0.9 🤗 Sakura-13B-LNovel-v0.9b-GGUF

20240213-Qwen1.5-14B-v0.9 🤗 Sakura-14B-Qwen2beta-v0.9 🤗 Sakura-14B-Qwen2beta-v0.9-GGUF

7B 20240116-Qwen-7B-v0.9 - 🤗 Sakura-7B-LNovel-v0.9-GGUF

8B 20240214-Qwen1.5-1.8B-v0.9.1 🤗 Sakura-1B8-Qwen2beta-v0.9.1 🤗 Sakura-1B8-Qwen2beta-v0.9.1-GGUF

p.s. 如果无法连接到HuggingFace服务器，可将链接中的 huggingface.co 改成 hf-mirror.com ，使用hf镜像站下载。

News

**更新了基于Qwen1.5-32B底模的v0.9与v0.10pre1版本的GGUF模型。其中v0.10pre1版本为v0.10的预览版，具备术语表功能，相比上一版本优化翻译质量，同时使用新的prompt格式，详见推理部分的prompt格式部分。**

**更新了使用Importance Matrix进行量化的Sakura-14B-Qwen2beta-v0.9-GGUF模型。模型地址**

**更新了基于Qwen1.5底模的 v0.9 版本模型，包括14B和1.8B两个版本。注意：此版本模型的结构为Qwen2. 同时补充更新了基于Qwen 7B的 v0.9 版本模型。**

**更新了0.9的正式版模型 v0.9b 。清洗并增加了预训练与微调的数据量。更推荐使用正式版模型，它会比之前的pre版本更加稳定，质量更高。**

**增加了vllm模型后端的支持，详见**#40

感谢Isotr0py提供运行模型的NoteBook仓库SakuraLLM-Notebooks，可在Colab(免费T4\*1)与Kaggle(免费P100\*1或T4\*2)平台使用。**已经更新Kaggle平台的使用教程，可以白嫖一定时间的T4\*2。**

**Sakura API已经支持OpenAI格式，现在可以通过OpenAI库或者OpenAI API Reference上的请求形式与Server交互。**

一个使用OpenAI库与Sakura模型交互的例子详见openai example.py。

已经接入模型的工具

网站：轻小说机翻机器人已接入Sakura模型(v0.8-4bit)，站内有大量模型翻译结果可供参考。你也可以自行部署模型并使用该网站生成机翻，目前已经支持v0.8与v0.9模型，且提供了llama.cpp一键包。

轻小说机翻机器人网站是一个自动生成轻小说机翻并分享的网站。你可以浏览日文网络小说，或者上传Epub/Txt文件，并生成机翻。

LunaTranslator已经支持Sakura API，可以通过本地部署API后端，并在LunaTranslator中配置Sakura API来使用Sakura模型进行Galgame实时翻译。

~~使用KurikoMoe的版本可以支持流式输出。~~ 目前官方版本已经支持流式输出，只需在翻译设置界面勾选流式输出即可。

LunaTranslator是一个Galgame翻译工具，支持剪贴板、OCR、HOOK，支持40余种翻译引擎。

GalTransl已经支持Sakura API，可以通过本地部署API后端，在GalTransl中配置使用Sakura模型来翻译Galgame，制作内嵌式翻译补丁。

GalTransl是一个galgame自动化翻译工具，用于制作内嵌式翻译补丁。一个使用GalTransl和Sakura模型翻译的示例

翻译Unity引擎游戏的工具SakuraTranslator。感谢fkiliver提供。

翻译RPGMaker引擎游戏的工具RPGMaker LLaMA Translator。感谢fkiliver提供。

AiNiee已经支持Sakura API，可以通过本地部署API后端，在AiNiee中使用Sakura模型进行翻译。

AiNiee是一款基于【mtool】或【Translator++】，chatgpt自动批量翻译工具，主要是用来翻译各种RPG游戏。

manga-image-translator已经支持Sakura API，可以通过本地部署API后端，使用Sakura自动翻译漫画。

BallonsTranslator已经支持Sakura API，可以通过本地部署API后端，使用Sakura翻译漫画。

显存需求

下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求，可以尝试同时使用CPU与GPU进行推理。

llama.cpp GGUF模型（使用Qwen-14B v0.9模型进行测试）

模型量化类型模型大小推荐显存大小

:-------: :-------: :-------:

fp16 26.3G 超出游戏显卡显存范围

Q8 0 14G 24G

Q6 K 11.4G 20G

Q5 K M 10.1G 16G

Q4 K M 8.8G 16G

Q3 K M 7.2G 16G

Q2 K 6.1G 12G

模型详?

描述

Finetuned by SakuraUmi

Finetuned on Baichuan2-13B-Chat

Continual Pre-trained on Qwen model series

Continual Pre-trained on Qwen1.5 model series

Finetuned on Sakura-Base model series

Languages: Chinese/Japanese

效果

Galgame

一个例子

轻小说

网站：轻小说机翻机器人已接入Sakura模型(v0.9)，站内有大量模型翻译的轻小说可供参考。

PPL/BLEU/Human

TBD

推理

openai api messages格式：

v0.9

使用代码处理如下：

prompt格式：

v0.10pre1

代码处理如下：

v0.9

文本格式如下：

使用代码处理如下：

prompt构建：

v0.8

v0.9

推理与解码参数：

参数值

--- ----

temperature 0.1

top p 0.3

do sample True

beams number 1

repetition penalty 1

max new token 512

min new token 1

如出现退化（退化的例子可参见#35与#36），可增加 frequency penalty 参数，并设置为大于0的某值，一般设置0.1~0.2即可。**

微调

模型微调框架参考BELLE或LLaMA-Factory，prompt构造参考推理部分。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。

完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖，以原作者说明为准。

授权范围

是否允许商用、修改和分发，请查看模型许可证。

闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。

资料或下载有问题？

登录后可提交反馈。

固定版本 · 多种下载方式

Sakura-13B-Galgame-GGUF 模型下载

可下载完整仓库，也可选择所需版本或文件。

通用工具下载 · 不限 GGUF

使用 Hugging Face 下载工具获取 QuantFactory/Sakura-13B-Galgame-GGUF。支持下载仓库中的 Safetensors、GGUF、ONNX、配置及其他文件；下载文件不等于工具能够运行该模型。

固定版本文件资料补充中，原下载方式仍可使用；也可在下方主动加载文件清单。

先在下方选择国内镜像或官方线路、系统和下载范围，再复制命令。首次使用需按下方步骤安装下载工具。

固定版本：041881434f3c622a5d4425079a0f08e98130f423。此方式仅下载文件，不自动启动模型。

使用工具下载此模型

当前仓库：QuantFactory/Sakura-13B-Galgame-GGUF
以下为 GGUF 语言模型的工具下载方式。请先安装对应工具，由工具确认模型架构、精度和设备是否支持；闲社未逐个验证运行兼容性。

LM Studio · 在应用中选版本下载

打开 LM Studio 的模型搜索，将下方地址粘贴到搜索框，选择工具支持的精度后点击下载。也可以在终端执行下载命令。

https://huggingface.co/QuantFactory/Sakura-13B-Galgame-GGUF

lms get https://huggingface.co/QuantFactory/Sakura-13B-Galgame-GGUF

命令需要先安装并打开过 LM Studio，且 lms 已可用。官方使用说明

Ollama · 下载后运行

安装 Ollama 后在终端执行，工具会从当前 Hugging Face 仓库获取模型并尝试运行。未指定精度时由工具选择默认版本，执行前请确认硬件资源。

ollama run hf.co/QuantFactory/Sakura-13B-Galgame-GGUF

精度选择及官方说明

llama.cpp · 下载并启动本地服务

安装 llama.cpp 并确保 llama-server 可用后，在终端执行。工具会下载仓库中的适用权重并启动本地推理服务；这不是仅下载文件的命令。

llama-server -hf QuantFactory/Sakura-13B-Galgame-GGUF

精度选择及官方说明

网络：以上方式使用工具自身的官方仓库连接，不随下方镜像选项切换。版本：通常跟随仓库当前版本，不保证与本站固定版本一致。国内访问困难或需要固定版本时，请使用下方镜像文件下载，再按工具支持情况导入。

选择工具后复制对应命令；不会自动安装软件或开始下载。

先选择下载线路

魔搭固定版本：041881434f3c622a5d4425079a0f08e98130f423。跨站版本号可以不同；仅核对权重和运行配置后提供对应线路，未代表已运行验证。

此模型提供已核对固定版本的魔搭线路，使用 ModelScope 工具下载。

选择下载内容

只需要一种 GGUF 精度？先加载文件清单，再选所需版本。直接文件链接无需安装 Python；多分片可用下方命令一次下载。

量化版本 / 文件

文件清单按当前固定版本读取，不会下载模型权重。

先选择你的系统

命令下载：按下面步骤操作，可下载完整仓库或所选文件。直接文件链接不需要以下步骤。

打开下载用的窗口

在电脑上新建一个存放模型的文件夹，打开它；点击文件夹顶部地址栏，输入 powershell 后按回车。

如果电脑没有 Python，先从 Python 官网安装。打开窗口后输入 python --version，出现版本号再继续。

首次使用，安装下载工具

复制下面这条命令，粘贴到刚打开的窗口，按回车并等待安装结束。

python -m pip install --upgrade huggingface_hub

已经安装过下载工具，可直接进入第 3 步。

执行下载命令

点击下方按钮，粘贴到同一个窗口，再按回车。工具会自动下载全部文件，不用逐个选择。

复制命令不会自动开始下载，需要在你的设备上粘贴并执行。

下载完成后去哪里找？

查看刚才选择的文件夹，里面会出现 models 文件夹。窗口不再显示下载进度、返回输入提示符且没有报错时，再检查文件是否齐全；“已复制”不代表“已下载”。

没反应、提示报错怎么办？

python 无法识别：先安装 Python，关闭并重新打开窗口；Windows 安装时按安装器说明启用命令行访问。

hf 无法识别：确认第 2 步安装成功，重新打开窗口。如果仍未识别，需将 Python 的 Scripts 目录加入用户 PATH；不要反复下载脚本。

网络中断：保持相同文件夹，再执行相同下载命令，工具会检查已有文件。

权限或磁盘错误：选择自己有写入权限且剩余空间充足的文件夹。不要关闭系统安全保护。

查看完整下载命令

modelscope download --model "QuantFactory/Sakura-13B-Galgame-GGUF" --revision "041881434f3c622a5d4425079a0f08e98130f423" --local_dir "./models/QuantFactory--Sakura-13B-Galgame-GGUF--ms-041881434f3c"

下载文件由你选择的线路直接传输，不经过闲社服务器。

固定同一版本；再次执行相同命令会检查已有文件。某条线路较慢或不可用时，可手动切换另一条线路。

公开模型无需向闲社提交密钥；受限模型仍需取得原作者授权。Linux / macOS 的安装命令可将 python 改为 python3。