模型介绍
中文整理CodeMaster：基于 qwen-1.8b-chat 模型微调的大语言模型
简介
模型认知名称：**CodeMaster**
模型作者：人工智障组
该模型运用深度学习的自然语言处理技术，通过训练大量的文本数据，学习语言的规律和结构，从而实现对自然语言的理解、生成和推理等功能。本模型基于 qwen-1.8b-chat 模型微调而来，不但可以进行日常对话，内容生成，机器翻译，还加强了其代码能力，能够为用户提供代码上的帮助，同时也支持更复杂的数学问题解答和数据分析任务。此外，该模型在处理特定领域的问题时表现出更高的专业性和准确性，例如在医疗、法律和金融等领域的应用。通过进一步的训练和优化，模型还能够理解和执行特定的指令，进行逻辑推理，以及参与更高级别的决策过程。
特点
- **大规模数据集**：本模型使用大规模数据集训练而成，包括alpaca-en，code-alpaca-en等，对测试集有良好表现
- **深度神经网络**：本模型使用深度神经网络（如Transformer）作为核心模型，使得本模型能够捕捉到更复杂的语言规律，从而加强对话能力。
- **多任务学习**：本模型可以同时学习多个任务，如文本分类、命名实体识别、问答等，这有助于提高模型的泛化能力。
- **实时推理**：本模型可以实时地对输入的文本进行推理，为用户提供即时的回答。
实验环境
modelscope免费实例环境
训练方法
数据集
alpaca-zh
alpaca-en
code-alpaca-en
leetcode-python-en
codefuse-python-en
codefuse-evol-instruction-zh
微调的模型
基于qwen-1.8b-chat，使用LoRA的方式进行微调
参数
训练集采样数量：train dataset sample=2000
自我认知任务参数
数据及采样条数：self cognition sample=500
超参数
训练batch size：batch size=4
数据集迭代轮次：num train epochs=12
其余参数默认
微调过程代码
训练效果
结果
Training procedure
Framework versions
SWIFT 1.5.1
Base model information
BaseModel Class QWenLMHeadModel
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。