Model details
模型介绍
中文整理模型简介
模型名称：代码助手
简介：帮助使用者生成指定的算法代码，可用不同的语言，**支持多轮对话**，**有自我认知能力**。
实验环境
显存：32GB，显存带宽：24G
环境：ModelScope Library
环境详情：ubuntu22.04-cuda12.1.0-py310-torch2.1.2
数据集和模型
选择模型： "gwen-1 b8"。
数据集：
- alpaca-zh
- ai4shell-mini-zh
- code-alpaca-cn
- codefuse-python-en
- leetcode-python-en
- codefuse-evol-instruction-zh
超参数设置
LoRA超参数配置：
- LoRA秩（Rank）：8
- LoRA的alpha：32
- LoRA的dropout：0.05
训练参数：
- 训练时batch size：5
- 学习率（Learning Rate）：1e-5
- 优化器（Optimizer）：adamw torch
- 优化器权重衰减（Weight Decay）：0.01
- 优化器beta1：0.9
- 优化器beta2：0.999
- 优化器epsilon：1e-8
- 训练数据集大小：2048
- 训练集上限：不限制
- 预热步数（Warmup Steps）：5
- 最大训练步数：1
- 梯度累积步数（Gradient Accumulation Steps）：1
验证参数：
- 验证时batch size：1
- 验证数据集大小：50
- 验证步数：0.5
损失函数配置：
- 使用交叉熵损失函数（Cross Entropy Loss）
优化器配置：
- 学习率调度器（Lr Scheduler）：linear
- 学习率Warmup比例（Lr Warmup Ratio）：0.05
示例代码
使用swift web ui进行参数配置。
推理内容
使用web ui进行推理
具有自我认知能力和多轮对话：
可以实现多种语言的代码生成：
对比实验
经过对比发现，微调后的模型在以下方面比原模型有较大提升：
自我认知与多轮对话
代码理解和生成
中文理解
原模型：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
