Qwen3.8-27B.gguf

云枢视觉AI多模型企业版运行软件 安装使用说明

显卡兼容实测：已在.RTX 3090.显卡上完成全流程测试。运行系统win10

24G显存+48G内存就可以运行此软件。看一下显卡驱动cuda-13.3。

支持CPU+内存和GPU+显存。运行环境自动检测。

下载（云枢视觉AI多模型企业版运行软件），右键选择解压，将文件解压到 C 盘。

在下载1：mmproj-4B.gguf 。2：mmproj-9B.gguf。3：mmproj-Qwen3-ASR-1.7B.gguf。4: Qwen3.5-4B.gguf。

5：Qwen3.5-9B.gguf。6：Qwen3-ASR-1.7B.gguf。。8：mmproj-27B.gguf。9：Qwen3.8-27B.gguf.文件放在llama文件中。

（安装运行库.EXE）文件，安装完毕后直接运行（云枢视觉AI多模型企业版）就可以工作。

创建桌面快捷方式

打开 C 盘内解压好的软件文件夹，找到主程序图标，右键点击，选择【发送到】→【桌面 (快捷方式)】。

注意事项

建议把程序放在固态硬盘，运行速度更快。

文件夹名称不要使用中文和特殊符号。

软件离线即可使用，无需联网。

解压后不要改动内部文件。

• 1版本更新说明

修复bag

添加写作时间模块

增加Markdown 渲染主程序渲染引擎

增加模型自动检测和下载功能

模型推理

• *- coding: utf-8 -*-

"""YSYXAITLYQ.py - 云枢视觉AI推理引擎"""

import re, subprocess, sys, os, threading, base64, json, time, wave, tempfile, datetime, ctypes, warnings

from io import BytesIO

from typing import Optional

import requests

CREATE NO WINDOW = 0x08000000

PORT MAIN, PORT VOICE = 8080, 8081

SERVER URL MAIN = f"http://127.0.0.1:{PORT MAIN}/v1/chat/completions"

SERVER URL VOICE = f"http://127.0.0.1:{PORT VOICE}/v1/chat/completions"

COLORS = {

"primary": "#1890ff", "primary hover": "#40a9ff", "bg main": "#f0f2f5",

"text main": "#333", "text secondary": "#666", "text hint": "#999",

"border": "#ddd", "success": "#52c41a", "danger": "#ff4d4f", "warning": "#faad14",

"heading": "#1f1f1f", "heading light": "#434343", "accent": "#722ed1",

"code bg": "#f5f5f5", "code fg": "#d63384"

}

if getattr(sys, 'frozen', False):

# PyInstaller 打包后，无论 onefile 还是 onedir，都以 exe 所在目录为准

BASE DIR = os.path.dirname(os.path.abspath(sys.executable))

else:

# 开发环境，以当前脚本所在目录为准

BASE DIR = os.path.dirname(os.path.abspath( file ))

LLAMA DIR = os.path.join(BASE DIR, "llama")

SERVER EXE = os.path.join(LLAMA DIR, "llama-server.exe")

MODELS MAIN = {

"fast": {"name": "对话模型", "model": os.path.join(LLAMA DIR, "Qwen3.5-4B.gguf"), "proj": os.path.join(LLAMA DIR, "mmproj-4B.gguf"), "ctx": 6144, "timeout": 60},

"std": {"name": "办公模型", "model": os.path.join(LLAMA DIR, "Qwen3.5-9B.gguf"), "proj": os.path.join(LLAMA DIR, "mmproj-9B.gguf"), "ctx": 12288, "timeout": 90},

"pro": {"name": "写作模型", "model": os.path.join(LLAMA DIR, "Qwen3.8-27B.gguf"), "proj": os.path.join(LLAMA DIR, "mmproj-27B.gguf"), "ctx": 22528, "timeout": 120},

"asr file": {"name": "音频模型", "model": os.path.join(LLAMA DIR, "Qwen3-ASR-1.7B.gguf"), "proj": os.path.join(LLAMA DIR, "mmproj-ASR-1.7B.gguf"), "ctx": 8192, "timeout": 120},

}

MODEL VOICE ASR = {"name": "语音输入专用模型", "model": os.path.join(LLAMA DIR, "Qwen3-ASR-0.6B.gguf"), "proj": os.path.join(LLAMA DIR, "mmproj-ASR-0.6B.gguf"), "ctx": 8192, "timeout": 120}

TEXT PARAMS = {"greedy": True, "temperature": 0.0, "repetition penalty": 1.0, "max tokens": 8192}

VL PARAMS = {"greedy": False, "top p": 0.8, "top k": 20, "temperature": 0.7, "repetition penalty": 1.05, "max tokens": 8192}

ASR PARAMS = {"greedy": True, "temperature": 0.0, "max tokens": 4096}

MAX IMAGES COUNT, MAX AUDIO COUNT, MAX VIDEO SECONDS, MAX VIDEO FRAMES = 9, 1, 300, 12

MAX IMAGE SIZE MB, IMG QUALITY, IMG MAX SIZE, MAX FILE SIZE MB = 10, 85, 1536, 12

server process main: Optional[subprocess.Popen] = None

server process voice: Optional[subprocess.Popen] = None

current model: str = "fast"

has nvidia gpu = use gpu mode = False

ASR CLEAN = re.compile(r'(language\s+\w+ ]+>)', re.I)

SENTENCE SPLIT = re.compile(r'(?