模型介绍
中文整理WeMM-Embedding-2B-GGUF
这是 WeMM-Embedding-2B 的 GGUF 量化版本，面向本地 llama.cpp 推理，重点提供更低的显存和内存占用。
支持文本、图像、视频、视觉文档以及交错的多模态输入，返回 2,048 维 L2 归一化嵌入向量。当前不支持音频输入。
本仓库提供 Q4、Q6、Q8 和 BF16 多种版本，并保留 BF16 mmproj 视觉投影文件，用于图片和视频 Embedding。
Files
File Size Use
- -- ---: ---
WeMM-Embedding-2B-Q4 K M.gguf 1.56 GB Recommended default
WeMM-Embedding-2B-Q6 K.gguf 1.97 GB Higher fidelity
WeMM-Embedding-2B-Q8 0.gguf 2.55 GB Accuracy-first quantized version
WeMM-Embedding-2B-BF16.gguf 4.79 GB Reference precision
mmproj-WeMM-Embedding-2B-BF16.gguf 671 MB Required for image/video input
The main model may be quantized; keep the BF16 projector for multimodal inference.
Quick start
Install a recent llama.cpp build. Qwen3.5 and multimodal embedding support are runtime-version dependent.
Download the recommended text model:
For image/video support, download the projector too:
Text embeddings
The model metadata specifies qwen35.pooling type=3 , which is llama.cpp last pooling for the dedicated token. Do not override it with --pooling mean .
Image and video embeddings
Start the main GGUF and projector together:
Then run the included client:
For video:
Video input requires a llama.cpp build with FFmpeg/FFprobe support. The client also supports --openai-compatible for /v1/embeddings .
Important API note
Do not use the legacy image data plus [img-N] format. Current llama.cpp can accept that payload as text and silently ignore the image. The supported multimodal embedding request uses the runtime-generated media marker from /props and a prompt object containing prompt string and multimodal data . The included client handles this automatically.
Verification
The conversion was checked for GGUF readability, 2048-dimensional output, normalized embeddings and the llama.cpp image path. The original model's benchmark results are not GGUF measurements.
License
This conversion does not change the upstream license. Read the upstream model card and LICENSE before redistribution.
更新记录 (Changelog)
2026-09-26 — 文档与转换补丁更新（模型权重未变）
- *模型文件没有变化**： WeMM-Embedding-2B-*.gguf 与 mmproj-WeMM-Embedding-2B-BF16.gguf 未重新生成， SHA256SUMS 不变。
- *纯文本输入就够了**：GGUF 中 tokenizer.ggml.add eos token=true ，且 eos 指向 WeMM 的 标记；嵌入接口（ /v1/embeddings 、 llama-embedding ）会自动把该标记追加到输入末尾。请不要覆盖这两个键，也不要自己在输入里再拼 。
- *关于 special eos id is not in special eog ids 提示**：未打补丁的 llama.cpp 构建在加载时会打印这条信息。它是无害的——llama.cpp 会把 自行补进 EOG 集合——转换补丁（ patches/llama.cpp/ ）已修掉该问题，需重新编译 llama.cpp 后生效。
- *不要用生成类工具跑本模型**：由于 add eos token 被置位， llama-completion / llama-perplexity / llama-imatrix 会以 GGML ASSERT(!llama vocab get add eos(vocab)) 中止（ llama-cli 与 llama-server 正常）。嵌入请用 llama-server --embeddings 。
修正 CONVERSION.md 中把 qwen35.pooling type=3 写成 mean pooling 的一处描述；正确语义是 last-token pooling（ --pooling last ）。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。