Model details
模型介绍
中文整理StudyGPT
用来让初学者学习llm的项目。
TinyDialogue 对话模型项目
这是一个轻量级中文对话模型项目,基于Transformer架构实现,支持训练和交互式对话功能。
项目特点
🚀 **轻量高效**:精简Transformer架构,模型大小仅~100MB
💬 **中文优化**:针对中文对话场景定制分词器和训练数据
🎓 **简单易用**:提供完整训练和推理代码,无需复杂配置
🔧 **模块化设计**:各组件解耦,易于扩展和定制
模型信息
特性 描述
模型名称 StudyTinyModel
架构 自定义Transformer (4层, 8头注意力)
嵌入维度 512
词表大小 10,000
最大序列长度 256
训练数据 小黄鸡50万对话语料
模型下载
ModelScope模型主页
Quick start
环境准备
交互式对话
启动对话
训练自定义模型
数据准备
训练步骤
启动训练
文件说明
文件 描述
My.py 核心模型实现(模型架构、分词器、数据集)
train.py 模型训练脚本
dialogue.py 交互式对话脚本
data/ 训练数据和模型检查点目录
vocab.txt 分词器词表文件
高级选项
生成参数调优
性能优化
Frequently Asked Questions
模型加载失败(PyTorch 2.6+)
显存不足
- 减小 batch size
- 增加 grad accum steps
- 启用 use amp 混合精度
贡献指南
欢迎提交Issue和Pull Request:
报告问题
添加新功能
优化文档
改进模型架构
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.