模型详情
模型介绍 中文整理 这里是mistral的八专家的稀疏混合专家网络Mixtral的gguf文件. **46B的规模，13B的推理速度**,你值得拥有！
Q3 K M量化版本在m1 pro 32G上次测试ok
模型稍后上传
一、如何下载
如需自己转化量化版本，请下载夸克网盘分享的Mixtral-8x7B-Instruct-v0.1「ggml-model-f16.gguf」。
链接：https://pan.quark.cn/s/32f1ec958a74
提取码：hTBY
二、如何使用
关键要点：切换到mixtral分支。
聊天格式
当然如果你对聊天格式还不熟悉可以查看我这篇文章:
不得不说的Chat Format(聊天格式)——大模型CPU部署系列03
如果你不知道什么是gguf可以参看下面的文章:
揭开gguf神秘面纱——大模型CPU部署系列02.
如果你还想了解llama.cpp的量化方法, 可以关注我的大模型CPU部署系列.
大模型CPU部署系列
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么 完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知 运行环境 运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围 是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？ 登录后可提交反馈。
固定版本 · 多种下载方式
Mixtral-8x7B-Instruct-v0.1-GGUF 模型下载 可下载完整仓库，也可选择所需版本或文件。
先选择下载线路 魔搭 ModelScope · 国内直连 魔搭固定版本：9f8927600f0aa1b88bc1ad91a846f07831a96f76。跨站版本号可以不同；仅核对权重和运行配置后提供对应线路，未代表已运行验证。
此模型提供已核对固定版本的魔搭线路，使用 ModelScope 工具下载。
选择下载内容
完整仓库 · 包含所有格式与精度 指定版本 / 文件 · 避免重复下载 只需要一种 GGUF 精度？先加载文件清单，再选所需版本。直接文件链接无需安装 Python；多分片可用下方命令一次下载。
加载可下载版本与文件
量化版本 / 文件 加载清单后选择 文件清单按当前固定版本读取，不会下载模型权重。
先选择你的系统 Windows · PowerShell Linux / macOS · 终端 命令下载：按下面步骤操作，可下载完整仓库或所选文件。直接文件链接不需要以下步骤。
1 打开下载用的窗口 在电脑上新建一个存放模型的文件夹，打开它；点击文件夹顶部地址栏，输入 powershell 后按回车。
如果电脑没有 Python，先从 Python 官网 安装。打开窗口后输入 python --version，出现版本号再继续。
2 首次使用，安装下载工具 复制下面这条命令，粘贴到刚打开的窗口，按回车并等待安装结束。
python -m pip install --upgrade huggingface_hub复制安装命令 已经安装过下载工具，可直接进入第 3 步。
3 执行下载命令 点击下方按钮，粘贴到同一个窗口，再按回车。工具会自动下载全部文件，不用逐个选择。
复制完整下载命令 复制命令不会自动开始下载，需要在你的设备上粘贴并执行。
下载完成后去哪里找？ 查看刚才选择的文件夹，里面会出现 models 文件夹。窗口不再显示下载进度、返回输入提示符且没有报错时，再检查文件是否齐全；“已复制”不代表“已下载”。
没反应、提示报错怎么办？ python 无法识别： 先安装 Python，关闭并重新打开窗口；Windows 安装时按安装器说明启用命令行访问。
hf 无法识别： 确认第 2 步安装成功，重新打开窗口。如果仍未识别，需将 Python 的 Scripts 目录加入用户 PATH；不要反复下载脚本。
网络中断： 保持相同文件夹，再执行相同下载命令，工具会检查已有文件。
权限或磁盘错误： 选择自己有写入权限且剩余空间充足的文件夹。不要关闭系统安全保护。
查看完整下载命令 请开启浏览器脚本，或使用默认 Windows 教程并展开命令手动复制执行。
