Sakura-13B-Galgame-GGUF

QuantFactory/Sakura-13B-Galgame-GGUF

PublisherQuantFactory

Download access requirementsModelScope source

[](https://hf.co/QuantFactory) QuantFactory/Sakura-13B-Galgame-GGUF This is quantized version of sakuraumi/Sakura-13B-Galgame created using llama.cpp

Text Chat

View all download instructions Mirror repository documentation and license ↗

Model details

模型介绍

中文整理

[](https://hf.co/QuantFactory)

QuantFactory/Sakura-13B-Galgame-GGUF

This is quantized version of sakuraumi/Sakura-13B-Galgame created using llama.cpp

Original Model Card

Sakura-13B-Galgame

🦉 GitHub 🤖 ModelScope

目前Sakura发布的所有模型均采用CC BY-NC-SA 4.0协议，Sakura所有模型与其衍生模型均禁止任何形式的商用！Sakura系列所有模型皆仅供学习交流使用，开发者对使用Sakura模型造成的问题不负任何责任。

介绍

基于一系列开源大模型构建，在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调，旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型。

目前仍为实验版本，v0.9版本模型在文风、流畅度与准确性上均强于GPT-3.5，但词汇量略逊于GPT-3.5（主观评价）.

同时提供了运行模型的API后端，适配OpenAI API格式。

新建了TG交流群，欢迎交流讨论。

对于其他适配本模型的项目如使用非本项目提供的prompt格式进行翻译，不保证会获得与README中的说明一致的质量！**

如果使用模型翻译并发布，请在最显眼的位置标注机翻！！！！！开发者对于滥用本模型造成的一切后果不负任何责任。**

由于模型一直在更新，请同时注明使用的模型版本等信息，方便进行质量评估和更新翻译。

对于模型翻译的人称代词问题（错用，乱加，主宾混淆，男女不分等）和上下文理解问题，如果有好的想法或建议，欢迎提issue！**

TODO：见https://github.com/SakuraLLM/Sakura-13B-Galgame/issues/42

Quick start

教程：

详见本仓库Wiki.

模型下载：

参数量发布时间-底模-版本 Transformers模型 GGUF量化模型

:-------: :-------: :-------: :-------:

32B 20240508-Qwen1.5-32B-v0.9 - 🤗 Sakura-32B-Qwen2beta-v0.9-GGUF

20240508-Qwen1.5-32B-v0.10pre1 - 🤗 Sakura-32B-Qwen2beta-v0.10pre1-GGUF

14B 20240111-Qwen-14B-v0.9 🤗 Sakura-13B-LNovel-v0.9 🤗 Sakura-13B-LNovel-v0.9b-GGUF

20240213-Qwen1.5-14B-v0.9 🤗 Sakura-14B-Qwen2beta-v0.9 🤗 Sakura-14B-Qwen2beta-v0.9-GGUF

7B 20240116-Qwen-7B-v0.9 - 🤗 Sakura-7B-LNovel-v0.9-GGUF

8B 20240214-Qwen1.5-1.8B-v0.9.1 🤗 Sakura-1B8-Qwen2beta-v0.9.1 🤗 Sakura-1B8-Qwen2beta-v0.9.1-GGUF

p.s. 如果无法连接到HuggingFace服务器，可将链接中的 huggingface.co 改成 hf-mirror.com ，使用hf镜像站下载。

News

**更新了基于Qwen1.5-32B底模的v0.9与v0.10pre1版本的GGUF模型。其中v0.10pre1版本为v0.10的预览版，具备术语表功能，相比上一版本优化翻译质量，同时使用新的prompt格式，详见推理部分的prompt格式部分。**

**更新了使用Importance Matrix进行量化的Sakura-14B-Qwen2beta-v0.9-GGUF模型。模型地址**

**更新了基于Qwen1.5底模的 v0.9 版本模型，包括14B和1.8B两个版本。注意：此版本模型的结构为Qwen2. 同时补充更新了基于Qwen 7B的 v0.9 版本模型。**

**更新了0.9的正式版模型 v0.9b 。清洗并增加了预训练与微调的数据量。更推荐使用正式版模型，它会比之前的pre版本更加稳定，质量更高。**

**增加了vllm模型后端的支持，详见**#40

感谢Isotr0py提供运行模型的NoteBook仓库SakuraLLM-Notebooks，可在Colab(免费T4\*1)与Kaggle(免费P100\*1或T4\*2)平台使用。**已经更新Kaggle平台的使用教程，可以白嫖一定时间的T4\*2。**

**Sakura API已经支持OpenAI格式，现在可以通过OpenAI库或者OpenAI API Reference上的请求形式与Server交互。**

一个使用OpenAI库与Sakura模型交互的例子详见openai example.py。

已经接入模型的工具

网站：轻小说机翻机器人已接入Sakura模型(v0.8-4bit)，站内有大量模型翻译结果可供参考。你也可以自行部署模型并使用该网站生成机翻，目前已经支持v0.8与v0.9模型，且提供了llama.cpp一键包。

轻小说机翻机器人网站是一个自动生成轻小说机翻并分享的网站。你可以浏览日文网络小说，或者上传Epub/Txt文件，并生成机翻。

LunaTranslator已经支持Sakura API，可以通过本地部署API后端，并在LunaTranslator中配置Sakura API来使用Sakura模型进行Galgame实时翻译。

~~使用KurikoMoe的版本可以支持流式输出。~~ 目前官方版本已经支持流式输出，只需在翻译设置界面勾选流式输出即可。

LunaTranslator是一个Galgame翻译工具，支持剪贴板、OCR、HOOK，支持40余种翻译引擎。

GalTransl已经支持Sakura API，可以通过本地部署API后端，在GalTransl中配置使用Sakura模型来翻译Galgame，制作内嵌式翻译补丁。

GalTransl是一个galgame自动化翻译工具，用于制作内嵌式翻译补丁。一个使用GalTransl和Sakura模型翻译的示例

翻译Unity引擎游戏的工具SakuraTranslator。感谢fkiliver提供。

翻译RPGMaker引擎游戏的工具RPGMaker LLaMA Translator。感谢fkiliver提供。

AiNiee已经支持Sakura API，可以通过本地部署API后端，在AiNiee中使用Sakura模型进行翻译。

AiNiee是一款基于【mtool】或【Translator++】，chatgpt自动批量翻译工具，主要是用来翻译各种RPG游戏。

manga-image-translator已经支持Sakura API，可以通过本地部署API后端，使用Sakura自动翻译漫画。

BallonsTranslator已经支持Sakura API，可以通过本地部署API后端，使用Sakura翻译漫画。

显存需求

下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求，可以尝试同时使用CPU与GPU进行推理。

llama.cpp GGUF模型（使用Qwen-14B v0.9模型进行测试）

模型量化类型模型大小推荐显存大小

:-------: :-------: :-------:

fp16 26.3G 超出游戏显卡显存范围

Q8 0 14G 24G

Q6 K 11.4G 20G

Q5 K M 10.1G 16G

Q4 K M 8.8G 16G

Q3 K M 7.2G 16G

Q2 K 6.1G 12G

模型详?

描述

Finetuned by SakuraUmi

Finetuned on Baichuan2-13B-Chat

Continual Pre-trained on Qwen model series

Continual Pre-trained on Qwen1.5 model series

Finetuned on Sakura-Base model series

Languages: Chinese/Japanese

效果

Galgame

一个例子

轻小说

网站：轻小说机翻机器人已接入Sakura模型(v0.9)，站内有大量模型翻译的轻小说可供参考。

PPL/BLEU/Human

TBD

推理

openai api messages格式：

v0.9

使用代码处理如下：

prompt格式：

v0.10pre1

代码处理如下：

v0.9

文本格式如下：

使用代码处理如下：

prompt构建：

v0.8

v0.9

推理与解码参数：

参数值

--- ----

temperature 0.1

top p 0.3

do sample True

beams number 1

repetition penalty 1

max new token 512

min new token 1

如出现退化（退化的例子可参见#35与#36），可增加 frequency penalty 参数，并设置为大于0的某值，一般设置0.1~0.2即可。**

微调

模型微调框架参考BELLE或LLaMA-Factory，prompt构造参考推理部分。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。

完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖，以原作者说明为准。

授权范围

是否允许商用、修改和分发，请查看模型许可证。

闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。

Problem with the information or download?

Pinned version · Multiple download options

Sakura-13B-Galgame-GGUF model download

Download the full repository or choose a version or file.

Download tools · More than GGUF

Use the Hugging Face download tool to obtain QuantFactory/Sakura-13B-Galgame-GGUF. Download Safetensors, GGUF, ONNX, configuration and other repository files. Downloading does not mean the tool can run this model.

Pinned-version file information is being completed. Existing downloads remain available, or load the file manifest below.

Choose a mirror or official source, your operating system and download scope below, then copy the command. Install the download tool first if needed.

Pinned version: 041881434f3c622a5d4425079a0f08e98130f423. Downloads files only; does not start the model.

使用工具下载此模型

当前仓库：QuantFactory/Sakura-13B-Galgame-GGUF
以下为 GGUF 语言模型的工具下载方式。请先安装对应工具，由工具确认模型架构、精度和设备是否支持；闲社未逐个验证运行兼容性。

LM Studio · 在应用中选版本下载

打开 LM Studio 的模型搜索，将下方地址粘贴到搜索框，选择工具支持的精度后点击下载。也可以在终端执行下载命令。

https://huggingface.co/QuantFactory/Sakura-13B-Galgame-GGUF

lms get https://huggingface.co/QuantFactory/Sakura-13B-Galgame-GGUF

命令需要先安装并打开过 LM Studio，且 lms 已可用。官方使用说明

Ollama · 下载后运行

安装 Ollama 后在终端执行，工具会从当前 Hugging Face 仓库获取模型并尝试运行。未指定精度时由工具选择默认版本，执行前请确认硬件资源。

ollama run hf.co/QuantFactory/Sakura-13B-Galgame-GGUF

精度选择及官方说明

llama.cpp · 下载并启动本地服务

安装 llama.cpp 并确保 llama-server 可用后，在终端执行。工具会下载仓库中的适用权重并启动本地推理服务；这不是仅下载文件的命令。

llama-server -hf QuantFactory/Sakura-13B-Galgame-GGUF

精度选择及官方说明

网络：以上方式使用工具自身的官方仓库连接，不随下方镜像选项切换。版本：通常跟随仓库当前版本，不保证与本站固定版本一致。国内访问困难或需要固定版本时，请使用下方镜像文件下载，再按工具支持情况导入。

选择工具后复制对应命令；不会自动安装软件或开始下载。

Choose a download source

Pinned ModelScope version: 041881434f3c622a5d4425079a0f08e98130f423. Version identifiers can differ across sites. The alternative source was provided after checking weights and runtime configuration; this is not proof of a successful model run.

A checked, pinned ModelScope source is available for this model. Use the ModelScope download tool.

Choose what to download

Need just one GGUF precision? Load the file manifest and choose a version. Direct file links do not require Python; the command below can download multiple shards together.

Quantization / file

This reads the pinned version's file manifest; no model weights are downloaded.

Choose your operating system

For command-line downloads, follow these steps to get the full repository or selected files. Direct file links do not need these steps.

Open a terminal window

Create and open a folder for the model. In the folder's address bar, enter powershell and press Enter.

If Python is not installed, get it from the official Python website. In the terminal, enter python --version; continue when a version number appears.

First time? Install the download tool

Copy this command, paste it into the terminal, press Enter and wait for installation to finish.

python -m pip install --upgrade huggingface_hub

Already installed? Continue to step 3.

Run the download command

Select the button below, paste into the same terminal and press Enter. The tool downloads all files included in the current command.

Copying does not start a download. Paste and run the command on your device.

Where are the downloaded files?

Open the folder you chose. Look for the models folder. When progress stops and the terminal returns to its prompt without errors, check that all files are present. 'Copied' does not mean 'downloaded'.

No response or an error?

python not found: Install Python and reopen the terminal. On Windows, follow the installer's instructions to enable command-line access.

hf not found: Confirm that step 2 succeeded, then reopen the terminal. If needed, add Python's Scripts folder to your user PATH. Do not repeatedly download scripts.

Network interrupted: Stay in the same folder and run the same command again. The tool checks existing files.

Permission or disk error: Choose a writable folder with enough free space. Do not disable system security protection.

View the full download command

modelscope download --model "QuantFactory/Sakura-13B-Galgame-GGUF" --revision "041881434f3c622a5d4425079a0f08e98130f423" --local_dir "./models/QuantFactory--Sakura-13B-Galgame-GGUF--ms-041881434f3c"

Files transfer directly from the source you choose, not through Xianshe servers.

The version is pinned. Repeating the same command checks existing files. Change the source manually if it is slow or unavailable.

Public models do not require submitting keys to Xianshe. Restricted models still require the author's authorization. On Linux / macOS, use python3 instead of python when appropriate.