All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

Prism-v3-exp

hcymcweb/Prism-v3-exp

Publisherhcymcweb

Download access requirementsModelScope source

一个从零训练的中文小语言模型:一边猜下一个字,一边把整段文字拆成 31 个行业的概率光谱。 代码、训练脚本、网页与文档都在 GitHub:https://github.com/hcymc/Prism 在线体验(不用装环境):https://model.hcy.ink

Text Processing
Model details

模型介绍

中文整理

Prism-v3-exp

一个从零训练的中文小语言模型:一边猜下一个字,一边把整段文字拆成 31 个行业的概率光谱。**

代码、训练脚本、网页与文档都在 GitHub:**https://github.com/hcymc/Prism**

在线体验(不用装环境):**https://model.hcy.ink**

一束白光穿过棱镜散成光谱,一段文字穿过 8 层散成 31 路概率。

输入一段中文(≤512 字),输出一个 31 维的行业分布——不是给你一个标签,是给你一整条光谱。

33,353,760 参数 · 8 层 decoder-only · d=512 · 8 头 · FFN 2048 · RoPE · 字符级词表 15,341

从随机初始化开始,在 IndustryCorpus2 的 3.56 亿字上训 129,600 步(单卡 2080 SUPER,约 6 小时)

手写 PyTorch,不依赖 transformers / datasets

实验预览,不是可直接用的打标工具。** 短文本差、不会说「不确定」、类目重叠是硬天花板,

详见下面的「已知限制」。

文件

文件 体积 说明

  • -- --- ---

prism-v3-exp.pt 79 MB 完整权重(fp16),带 config / vocab / domains / step

domain int8.onnx 40 MB 动态量化 int8,只含领域出口,**推理不需要 torch**

domain fp32.onnx 136 MB 未量化 ONNX,与 torch 输出逐位相同

model meta.json 200 KB 词表 + 31 个类名 + max len + 训练步数

用法

torch

python

import torch

from model import TinyDomainLM # 来自 GitHub 仓库的 src/

ck = torch.load("prism-v3-exp.pt", map location="cpu")

model = TinyDomainLM(**ck["config"]).eval()

model.load state dict(ck["model"]) # fp16 载入 fp32 模型会自动转换

vocab, domains = ck["vocab"], ck["domains"]

text = "央行今日下调中期借贷便利利率十个基点,市场普遍预期后续还有降准空间。"

ids = [vocab[c] for c in text if c in vocab][:512]

ids = (ids * ((512 + len(ids) - 1) // len(ids)))[:512] # 短文本重复补齐到 512

x = torch.tensor([ids])

with torch.no grad():

p = torch.softmax(model(x, lm weight=0.0)["domain logits"].float(), -1)[0]

top = p.topk(5)

for i, v in zip(top.indices.tolist(), top.values.tolist()):

print(f"{domains[i]:

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top