All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

xh2_qwen3.8_27b-mtp_256k

Houmo/xh2_qwen3.8_27b-mtp_256k

PublisherHoumo

Download access requirementsModelScope source

Houmo Qwen3.8-27B-MTP 256k Houmo Qwen3.8-27B-MTP 256k 是基于 Qwen/Qwen3.8-27B 适配并预编译到后摩芯片设备上的 MTP 部署模型,面向高效推理与快速集成场景,支持 256K 上下文窗口。 该仓库提供的是适用于后摩硬件环境的模型交付版本,包含常规生成与 MTP 推测解码所需的预编译模型组件,便于与后摩软件栈及示例工程配合使用。当前 MTP 交付规格面向文本生成任务,具体支持范围和运行方式以当前发布版本及配套示

Text Chat
Model details

模型介绍

中文整理

Houmo Qwen3.8-27B-MTP 256k

Houmo Qwen3.8-27B-MTP 256k 是基于 Qwen/Qwen3.8-27B 适配并预编译到后摩芯片设备上的 MTP 部署模型,面向高效推理与快速集成场景,支持 256K 上下文窗口。

该仓库提供的是适用于后摩硬件环境的模型交付版本,包含常规生成与 MTP 推测解码所需的预编译模型组件,便于与后摩软件栈及示例工程配合使用。当前 MTP 交付规格面向文本生成任务,具体支持范围和运行方式以当前发布版本及配套示例为准。

模型概览

基座模型: Qwen/Qwen3.8-27B

模型类型:文本生成 / 对话生成(Dense、MTP)

参数规模: 27B

上下文长度: 262144 tokens (256k)

Prefill Chunk 长度: 256 tokens

推理方式:MTP(Multi-Token Prediction)推测解码

部署形态:后摩芯片设备预编译模型

目标场景:后摩设备上的本地化部署、集成验证与 MTP 推理体验

模型简介

Qwen3.8-27B 是 Qwen3.8 系列中的 27B 级别 Dense 模型,具备语言建模、指令跟随、推理、代码和多语言等通用能力。基座模型具备多模态能力,但本仓库当前 MTP 交付规格以文本生成链路为主,实际支持范围以当前发布版本及配套示例为准。

本仓库发布的是面向后摩设备适配后的 256K MTP 交付版本,包含常规 prefill、decode 以及 MTP prefill、decode 编译产物,用于在配套推理流程中完成候选 token 生成与校验。该交付版本重点解决模型及 MTP 推理组件在指定硬件与软件环境中的落地使用问题,不等同于通用原始权重本体。

若你关注模型算法能力、训练背景、官方评测、许可证或通用推理方式,请参考基座模型页面:

原始模型可参考:Qwen/Qwen3.8-27B

版本说明

本模型面向后摩设备部署,已针对指定芯片形态和软件版本完成适配与预编译,可直接用于后摩示例工程或集成到现有推理流程中。

使用时请特别关注以下匹配关系:

模型版本与后摩软件版本是否一致

模型规格与设备数、Core 数、Batch 数及 Prefill Chunk 是否一致

常规模型组件、MTP 模型组件与运行时版本是否匹配

示例工程或自定义工程中的模型路径与加载配置是否正确

支持规格

当前已验证并交付的模型规格如下:

芯片类型 软件版本 上下文长度 Prefill Chunk 设备数 Core 数 Batch 数 量化方式 HmmStrip

:--- :--- :--- :--- :--- :--- :--- :--- :---

XH2 v1.5.0 262144 tokens 256 tokens 2 2 1 W4A8 yes

请根据实际硬件环境选择匹配的模型规格。如需适配其他芯片规格、软件版本、上下文长度、设备数或部署形态,请以实际发布版本为准。

适用场景

推荐用于以下场景:

通用对话与助手交互

超长文档理解与分析

多文档对比与综合分析

知识问答与信息整理

文本续写、摘要、改写等内容生成任务

代码辅助与结构化文本生成

MTP 推测解码流程的部署与集成验证

后摩芯片环境中的本地化、边端或私有化推理验证

不适用或需谨慎使用的场景

以下场景建议谨慎评估后再投入正式业务:

高精度数学计算或强约束逻辑推理任务

医疗、法律、金融等高风险决策场景

对事实准确率、稳定性和可解释性要求极高的生产任务

未经业务规则校验的自动代码生成或自动执行链路

使用限制

使用前请注意以下事项:

模型的使用须遵守原始模型的许可证、使用条款及适用法律法规

本模型适用于通用文本任务,不建议直接用于高精度数学计算、严肃专业决策或未经验证的自动执行场景

模型可能生成与事实不符、不完整或具有误导性的内容,使用时请结合业务规则进行校验

请勿将模型输出直接作为医疗、法律、金融等高风险场景的唯一依据

请避免输入违法、有害、歧视、隐私敏感等内容,并遵守当地法律法规与平台规范

获取模型

你可以通过 ModelScope SDK 或 Git 两种方式获取模型。请根据需要选择对应规格的模型版本。

方式一:通过 ModelScope SDK 下载

方式二:通过 Git 下载

下载完成后,建议记录模型目录路径,并在后续示例工程或自定义推理脚本中显式配置该路径。

部署前准备

在运行本模型前,请先确认以下条件已满足:

  • 已准备好可用的后摩 XH2 芯片设备(2 设备环境)
  • 已安装并配置与模型版本匹配的后摩大道软件环境
  • 已下载与当前软件版本匹配的后摩示例包
  • 已获取本模型文件并放置到示例工程可识别的位置

若运行过程中出现版本不兼容问题,请优先检查模型版本、示例包版本与后摩软件版本是否匹配。

快速上手

基于后摩芯片设备,可按以下流程快速体验模型:

  • 下载本模型文件
  • 部署并配置后摩大道软件环境
  • 下载后摩示例包并完成解压
  • 进入示例包中的 qwen3.5 目录
  • 启动示例程序

程序启动后,即可在后摩芯片设备上运行 Qwen3.8-27B-MTP 256k 模型并进行交互。

若示例程序支持通过配置文件、命令行参数或环境变量指定模型路径,请将其指向当前仓库下载得到的模型目录。

集成建议

若你希望将该模型接入自定义推理工程,建议重点检查以下内容:

模型文件的实际存放路径与工程配置是否一致

模型加载代码所依赖的目录结构是否与示例工程保持兼容

推理参数是否与模型规格一致,包括 256K 上下文、 256 Prefill Chunk、每设备 2 Core 和设备数

常规生成组件与 MTP 推测解码组件是否完整加载,版本是否匹配

量化方式是否与模型规格一致,当前交付规格为 W4A8 ,不同量化产物不可混用

软件版本、运行时依赖与模型编译版本是否匹配

首次接入时优先以官方示例验证,再迁移到自定义业务链路

常见排查项

如果运行失败或效果异常,可优先排查:

模型目录是否完整,文件是否下载成功

示例包版本是否与当前后摩软件版本一致

程序中的模型路径、配置项或软链接是否指向正确位置

实际运行参数是否超出当前模型支持规格

设备资源、Core 分配和 Batch 配置是否与发布规格一致

常规生成与 MTP 组件是否均已正确加载,运行时是否支持 MTP 推测解码

若使用量化规格,请确认工程配置与所选量化模型匹配

说明

本仓库提供的是面向后摩设备的部署模型,不等同于通用开源权重

若需了解模型算法能力、训练背景、评测结果或更多基座信息,请参考原始基座模型页面

如有定制化适配需求,请结合后摩软件栈、硬件条件与实际业务配置进行验证

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top