模型介绍
中文整理Qwen2 7B Instruct GGUF
原始模型: rubraAI/Qwen2-7B-Instruct。 本模型是它的gguf版本。
模型描述
该原始模型是在进一步微调 Qwen/Qwen2-7B-Instruct 的基础上得到的。它能够进行多轮复杂的工具调用。
训练
该模型在包含多样化工具的调用、聊天数据集和Instruct数据的专有数据集上进行了进一步post-training（freeze tuned和DPO）。
如何使用
- 克隆仓库
- 编译源代码
Mac M系列用户:
make
Nvidia GPU (CUDA) 用户:
make LLAMA CUDA=1
- 安装一个js辅助包来处理一些罕见的错误
:::info
需要有 Node.js 和 npm 已安装。
:::
如果以上命令遇到权限问题，请加上 sudo 。
- 下载模型
推荐fp16或者Q8。
- 运行server服务器， 兼容openai格式
- 测试一下服务器是否正确运行了
应该能看到如下结果:
- python工具调用例子
输出如下：ai尝试使用工具get current weather来查询上海的天气。
更多使用方法请参考 https://docs.rubra.ai/inference/llamacpp， 比如test llamacpp.ipynb or test llamacpp streaming.ipynb。如有问题或建议，请在我们的Github仓库提交一个问题/issue：https://github.com/rubra-ai/rubra
限制和偏见
虽然该模型在广泛的任务上表现良好，但它可能仍然会产生偏见或错误的输出。用户在使用该模型时应谨慎，并在敏感或高风险应用中保持批判性的判断。模型的输出受其训练数据的影响，可能包含固有的偏见。
道德考虑
用户应确保该模型的部署符合道德指南，并考虑所生成文本的潜在社会影响。我们强烈反对将该模型滥用于生成有害或误导性内容。
致谢
我们感谢Alibaba Cloud提供的基础模型。
联系方式
如果对此模型有任何问题或意见或建议，请联系 rubra团队。
引用信息
如果您使用了这项工作，请引用如下：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。