模型介绍
中文整理StudyGPT
用来让初学者学习llm的项目。
TinyDialogue 对话模型项目
这是一个轻量级中文对话模型项目,基于Transformer架构实现,支持训练和交互式对话功能。
项目特点
🚀 **轻量高效**:精简Transformer架构,模型大小仅~100MB
💬 **中文优化**:针对中文对话场景定制分词器和训练数据
🎓 **简单易用**:提供完整训练和推理代码,无需复杂配置
🔧 **模块化设计**:各组件解耦,易于扩展和定制
模型信息
特性 描述
- ----- ------
模型名称 StudyTinyModel
架构 自定义Transformer (4层, 8头注意力)
嵌入维度 512
词表大小 10,000
最大序列长度 256
训练数据 小黄鸡50万对话语料
模型下载
ModelScope模型主页
快速开始
环境准备
交互式对话
启动对话
训练自定义模型
数据准备
- 将对话数据整理为 .conv 格式
- 文件格式示例:
训练步骤
启动训练
文件说明
文件 描述
- ----- ------
My.py 核心模型实现(模型架构、分词器、数据集)
train.py 模型训练脚本
dialogue.py 交互式对话脚本
data/ 训练数据和模型检查点目录
vocab.txt 分词器词表文件
高级选项
生成参数调优
性能优化
常见问题
模型加载失败(PyTorch 2.6+)
显存不足
- 减小 batch size
- 增加 grad accum steps
- 启用 use amp 混合精度
贡献指南
欢迎提交Issue和Pull Request:
报告问题
添加新功能
优化文档
改进模型架构
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
