模型介绍
中文整理Agnes-3.0-Flash Preview
模型用途
一个开放权重的多模态预览模型，为想要旗舰级推理能力但没有旗舰级硬件的用户设计。
主要能力
在推理、编码和指令遵循评估中具有竞争力的表现。支持可调节的推理努力级别（高/中/低），以及工具调用功能。具备文本、图像和视频理解能力。
输入输出
支持图像和视频输入。模型通过聊天模板进行交互，支持工具调用（JSON 格式）和流式输出。可通过 SGLang 提供 OpenAI 兼容的 Chat Completions API。
运行要求
需要 transformers 5.12.1 和 torchvision 库。必须使用 trust_remote_code=True 加载模型。
硬件要求：
GPU：1 张 NVIDIA H200 141GB 或 NVIDIA H100 80GB（bf16）
张量并行：--tp 1；--tp 2 用于最大上下文和并发
权重文件约 66 GB（bf16）
推荐主机内存 128 GB 或以上
基本用法
推理努力：聊天模板提供高（默认）、中、低三级推理努力，以及关闭思考的选项。
工具调用：模型以 JSON 格式输出工具调用，结果作为工具角色消息反馈。
推荐推理设置：
temperature:1.0
top p: 0.95
top k: 20
max tokens: 2000 或更高
推理努力：困难推理使用 high，延迟敏感场景使用 low
限制
该仓库发布的是预览版检查点，参数为 33B，上下文窗口为 262,144 token。生产环境/API 版本的模型使用不同的检查点配置，上下文窗口达 1M token。基准测试结果仅对应此处发布的预览版权重，不应归因于生产/API 模型。
许可证
Apache License 2.0
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。