Model details
模型介绍
中文整理Pisces-1231-preview
作者**: Arain
日期**: 2025年12月31日
摘要
本文介绍 **Pisces-1231-preview**,一个参数量约 1.35 亿 (135M) 的紧凑型 Dense 语言模型,旨在探索低资源环境下 **以数据为中心** 的极限。与当前主流扩大模型规模 (Scaling Laws) 的趋势相反,我们证明了极致的数据质量优化可以使小模型具备媲美更大规模基座的通用对话能力。该模型由作者在单张 A100 GPU 上历时 3 天训练完成,验证了一套由顶级闭源模型多源知识蒸馏驱动的四阶段课程学习流水线。
Pisces 采用了针对端侧部署优化的现代 Decoder-only Transformer 架构。
超参数 值 说明
:--- :--- :---
- *参数量** 135M Dense, 包含 Embeddings
- *层数** 21 此量级下的“深窄”拓扑,增强推理深度
- *隐藏层维度** 768
- *上下文窗口** 8192
- *词表大小** 6,400 双语精简词表,提升编码效率
- *训练精度** bfloat16 全流程混合精度
- 方法论:好奇心驱动的课程学习 (Curiosity-Driven Curriculum Learning)
我们的训练流水线摒弃了标准的 RLHF 范式 (PPO/GRPO),转而采用 **监督微调 + 知识蒸馏** 的鲁棒策略。事实上我们也证明了强化学习在小模型上的失效问题,我们通过实验认为,对于小模型而言,*高质量的模仿学习* 优于 *基于噪声奖励的强化学习*。
第一阶段:基座预训练
- *语料**: 高质量筛选的中英文子集 (Wikipedia 为主)。
- *技术**: **不重叠打包**。我们利用严格的非重叠序列打包技术,在 A100-40G 上最大化 Token 生成吞吐量,同时杜绝了样本间的注意力泄漏,确保 100% 的有效 Token 利用率。
第二阶段:指令微调
- *目标**: 建立通用的指令遵循能力。
- *数据**: 大规模开源指令集,经过严格多样性过滤。
第三阶段:单轮能力强化
- *来源**: 改编自 MiniMind 项目。
- *数据集**: r1 mix 1024.jsonl (清洗适配)。
- *目标**: 增强单轮问答的事实准确性和响应逻辑的简洁性。
第四阶段:多轮对话与蒸馏
此阶段是 Pisces-1231-preview 的核心贡献。我们构建了一个包含 **50,000 条** 高保真多轮对话的数据集:
- **种子 Prompt**: 20,000 条提取自 LCCC-base 的真实清洗对话开场白。
- **合成扩展**: 30,000 条纯合成对话,通过 **迭代自博弈** 和 **知识蒸馏** 生成。
- **教师模型矩阵**:
- **推理能力**: Gemini 3 (Primary), Gemini 2.5, Claude 4.5
- **创造力**: GPT-4o, GPT-5
- **多样性**: DeepSeek V3, GLM-4
核心发现**: 在 135M 这个参数规模下,这种重蒸馏的 SFT 策略在对话连贯性和逻辑性上表现优于 DPO 或 GRPO。这可能是因为学生模型的容量限制了其从稀疏奖励信号中泛化的能力。
Pisces 已经是 "Deployment-Ready" 状态,适合各类边缘 AI 应用。
HuggingFace transformers
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.