模型介绍
中文整理模型说明
基于 FlagAlpha/Llama3-Chinese-8B-Instruct 微调而成的沐雪角色扮演模型,在主动对话上表现出一定的优势(固定Prompt)。使用本模型需要模型本体。
沐雪设定可参见:Moemu/Muice-Chatbot
部分训练集参见:Moemuu/Muice-Dataset
对话示例
System Prompt
在不同任务中,模型拥有不同的System Prompt。具体参见:Muice-Chatbot/llm/utils/auto system prompt.py at main · Moemu/Muice-Chatbot
评估
模型名 新话题发起分数 直播对话性能 日常聊天性能 综合对话分数
- ---------------------------------------------- -------------- ------------ ------------ ------------
Muice-2.3-chatglm2-6b-int4-pt-128-1e-2 2.80 4.00 4.33 3.45
Muice-2.4-chatglm2-6b-int4-pt-128-1e-2 3.20 4.00 3.50 3.45
Muice-2.4-Qwen2-1.5B-Instruct-GPTQ-Int4-2e-3 1.40 3.00 6.00 5.75
Muice-2.5.3-Qwen2-1.5B-Instruct-GPTQ-Int4-2e-3 4.04 5.00 4.33 5.29
Muice-2.6.2-Qwen-7B-Chat-Int4-5e-4 5.20 5.67 4.00 5.75
Muice-2.7.0-Qwen-7B-Chat-Int4-1e-4 2.40 5.30 6.00 \
Muice-2.7.1-Qwen2.5-7B-Instruct-GPTQ-Int4-8e-4 **5.40** 4.60 4.50 **6.76**
- *Muice-2.7.1-Llama3 Chinese 8b Instruct-8e-5** 4.16 **6.34** **8.16** 6.20
训练参数
learning rate: 8e-05
train batch size: 4
eval batch size: 4
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr scheduler type: cosine
num epochs: 5.0
mixed precision training: Native AMP
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
