闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

OPENCHAT3.5-16K-GGUF

limoncc/OPENCHAT3.5-16K-GGUF

发布机构limoncc

下载访问条件魔搭来源

OpenChat 是一个创新的开源语言模型库,使用 C-RLFT 进行了微调,这是一种受离线强化学习启发的策略。 我们的模型从没有偏好标签的混合质量数据中学习,即使使用 7B 模型,也能提供与 ChatGPT 相当的卓越性能。 尽管我们的方法很简单,但我们致力于开发一个高性能、商业上可行的开源大型语言模型,并且我们将继续朝着这一愿景迈出重大步伐。

文字对话
模型详情

模型介绍

中文整理

一、一个简单介绍

OpenChat 是一个创新的开源语言模型库,使用 C-RLFT 进行了微调,这是一种受离线强化学习启发的策略。

我们的模型从没有偏好标签的混合质量数据中学习,即使使用 7B 模型,也能提供与 ChatGPT 相当的卓越性能。

尽管我们的方法很简单,但我们致力于开发一个高性能、商业上可行的开源大型语言模型,并且我们将继续朝着这一愿景迈出重大步伐。

OpenChat3.5-16k是NurtureAI提供,上下文增加到16k

这里提供两个gguf

ggml-model-f16.gguf

ggml-model-Q4 K M.gguf

你可以使用ggml-model-f16.gguf和llama.cpp把模型量化为你想要的版本。

二、如何下载

三、如何下载

由于openchat3.5特有的训练方法C-RLFT,具体可以参考文章:

如何训练——大语言模型研究02

它的对话格式比较特殊,所以你需要修改llama-cpp-python的相关代码,具体可以参考

不得不说的Chat Format(聊天格式)——大模型CPU部署系列03

一般聊天格式示例

写代码

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部