模型介绍
中文整理一、一个简单介绍
OpenChat 是一个创新的开源语言模型库,使用 C-RLFT 进行了微调,这是一种受离线强化学习启发的策略。
我们的模型从没有偏好标签的混合质量数据中学习,即使使用 7B 模型,也能提供与 ChatGPT 相当的卓越性能。
尽管我们的方法很简单,但我们致力于开发一个高性能、商业上可行的开源大型语言模型,并且我们将继续朝着这一愿景迈出重大步伐。
OpenChat3.5-16k是NurtureAI提供,上下文增加到16k
这里提供两个gguf
ggml-model-f16.gguf
ggml-model-Q4 K M.gguf
你可以使用ggml-model-f16.gguf和llama.cpp把模型量化为你想要的版本。
二、如何下载
三、如何下载
由于openchat3.5特有的训练方法C-RLFT,具体可以参考文章:
如何训练——大语言模型研究02
它的对话格式比较特殊,所以你需要修改llama-cpp-python的相关代码,具体可以参考
不得不说的Chat Format(聊天格式)——大模型CPU部署系列03
一般聊天格式示例
写代码
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
