模型介绍
中文整理Prism-v3-exp
一个从零训练的中文小语言模型:一边猜下一个字,一边把整段文字拆成 31 个行业的概率光谱。**
代码、训练脚本、网页与文档都在 GitHub:**https://github.com/hcymc/Prism**
在线体验(不用装环境):**https://model.hcy.ink**
一束白光穿过棱镜散成光谱,一段文字穿过 8 层散成 31 路概率。
输入一段中文(≤512 字),输出一个 31 维的行业分布——不是给你一个标签,是给你一整条光谱。
33,353,760 参数 · 8 层 decoder-only · d=512 · 8 头 · FFN 2048 · RoPE · 字符级词表 15,341
从随机初始化开始,在 IndustryCorpus2 的 3.56 亿字上训 129,600 步(单卡 2080 SUPER,约 6 小时)
手写 PyTorch,不依赖 transformers / datasets
实验预览,不是可直接用的打标工具。** 短文本差、不会说「不确定」、类目重叠是硬天花板,
详见下面的「已知限制」。
文件
文件 体积 说明
- -- --- ---
prism-v3-exp.pt 79 MB 完整权重(fp16),带 config / vocab / domains / step
domain int8.onnx 40 MB 动态量化 int8,只含领域出口,**推理不需要 torch**
domain fp32.onnx 136 MB 未量化 ONNX,与 torch 输出逐位相同
model meta.json 200 KB 词表 + 31 个类名 + max len + 训练步数
用法
torch
python
import torch
from model import TinyDomainLM # 来自 GitHub 仓库的 src/
ck = torch.load("prism-v3-exp.pt", map location="cpu")
model = TinyDomainLM(**ck["config"]).eval()
model.load state dict(ck["model"]) # fp16 载入 fp32 模型会自动转换
vocab, domains = ck["vocab"], ck["domains"]
text = "央行今日下调中期借贷便利利率十个基点,市场普遍预期后续还有降准空间。"
ids = [vocab[c] for c in text if c in vocab][:512]
ids = (ids * ((512 + len(ids) - 1) // len(ids)))[:512] # 短文本重复补齐到 512
x = torch.tensor([ids])
with torch.no grad():
p = torch.softmax(model(x, lm weight=0.0)["domain logits"].float(), -1)[0]
top = p.topk(5)
for i, v in zip(top.indices.tolist(), top.values.tolist()):
print(f"{domains[i]:
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
