Qwen2-7B-Instruct-GGUF

Qwen2 7B Instruct GGUF

原始模型: rubraAI/Qwen2-7B-Instruct。 本模型是它的gguf版本。

模型描述

该原始模型是在进一步微调 Qwen/Qwen2-7B-Instruct 的基础上得到的。它能够进行多轮复杂的工具调用。

训练

该模型在包含多样化工具的调用、聊天数据集和Instruct数据的专有数据集上进行了进一步post-training（freeze tuned和DPO）。

如何使用

• 克隆仓库

• 编译源代码

Mac M系列用户:

make

Nvidia GPU (CUDA) 用户:

make LLAMA CUDA=1

• 安装一个js辅助包来处理一些罕见的错误

:::info

需要有 Node.js 和 npm 已安装。

:::

如果以上命令遇到权限问题，请加上 sudo 。

• 下载模型

推荐fp16或者Q8。

• 运行server服务器， 兼容openai格式

• 测试一下服务器是否正确运行了

应该能看到如下结果:

• python工具调用例子

输出如下：ai尝试使用工具get current weather来查询上海的天气。

更多使用方法请参考 https://docs.rubra.ai/inference/llamacpp， 比如test llamacpp.ipynb or test llamacpp streaming.ipynb。如有问题或建议，请在我们的Github仓库提交一个问题/issue：https://github.com/rubra-ai/rubra

限制和偏见

虽然该模型在广泛的任务上表现良好，但它可能仍然会产生偏见或错误的输出。用户在使用该模型时应谨慎，并在敏感或高风险应用中保持批判性的判断。模型的输出受其训练数据的影响，可能包含固有的偏见。

道德考虑

用户应确保该模型的部署符合道德指南，并考虑所生成文本的潜在社会影响。我们强烈反对将该模型滥用于生成有害或误导性内容。

致谢

我们感谢Alibaba Cloud提供的基础模型。

联系方式

如果对此模型有任何问题或意见或建议，请联系 rubra团队。

引用信息

如果您使用了这项工作，请引用如下：