模型介绍
中文整理Thomson-1.0-Small
模型用途
Thomson-1.0-Small是一个前沿基础模型,在多种专业和通用领域以及实际部署场景中表现出色。它是Thomson-1.0系列的开源权重版本,基于持续学习范式开发,重点关注法律、税务和新闻领域的高风险专业工作。该模型通过对开源的Qwen3.6-35B-A3B模型进行重构,并在广泛性能领域实现显著提升而得。
主要能力
持续学习:与有限的小规模微调、提示工程或冻结模型工具增强等方法不同,该流水线在广泛能力范围内带来显著改进,包括未明确针对的能力,同时几乎消除了窄领域适配中常见的遗忘问题。
高风险专业工作:重点关注法律、税务和新闻领域——这些领域被普遍预测将通过人工智能实现大幅生产力提升,结合技术领域的严谨形式化推理与人文领域的细微差别和不确定性容忍度。
价值主权:对齐决定了模型表达何种价值观以及如何处理可信叙事存在分歧的问题。目标采用Public AI Constitution——一个允许自由使用和修改的开放文档,而非专有价值体系,并在两个环节应用:宪法DPO进行价值重对齐,以及强化学习中的宪法一致性奖励。
数据中心化:专有内容不仅作为知识被吸收,还转化为监督信号。中期训练数据来自超过19T令牌规模的语料库精选而成,偏好数据来源于专家撰写的内容,这些内容无法通过任何标注预算大规模复现。
代理深度研究:完整的研发展开框架,包含奖励结构设计,旨在激励忠实的工具使用和准确的引用模式,对减少高风险环境中的幻觉至关重要。
效率:完整流水线消耗约1.63×10²³ FLOP,使用35,207 B200 GPU小时,表明这些结果可在远低于通常预期的计算和人员预算下实现。
输入输出
模型类型:因果语言模型(混合专家架构)
上下文长度:原生支持262,144个令牌
运行要求
模型权重兼容Hugging Face Transformers、vLLM、SGLang、TokenSpeed等框架。
精度:BF16权重
基本用法
该仓库包含Hugging Face Transformers格式的模型权重和配置文件。
许可证
价值对齐采用Public AI Constitution——一个开放开发的文档,允许自由使用和修改。模型的规范基础本身应成为共享的公共资源,接受审查和辩论。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
