模型介绍
中文整理LaKun-0.7B:JEV 决策类型模型的多模态版本
我从 JEV 得到灵感,也借鉴了 Laya 的优化方式(RLCD)。最初我把它叫作 LaJ(谐音“垃圾”),后来为了致敬前辈,定名为 LaKun。LaKun 是我做的 JEV 决策类型模型的多模态版本:面对一段文本状态或一张图片,直接回答我指定的选择、档位评分和二元判断问题,输出每个候选项的 softmax 分数与最高分选项,不生成自由文本。一次调用可以同时提交三类问题,最多 20 题;目前每次最多处理一张图片。
English · 简体中文 · 源码与数据集统计 · Apache-2.0 源码许可
模型档案
项目 本检查点
- -- ---
输入 文本状态,或单张图片;每组 1–20 道问题
类型 choice (2–20 项)、 score (3–20 档)、 noul ( false/true )
输出 每题的 criteria 、 probabilities 和从 0 开始的 predicted index
文本/视觉主干 mmBERT-base / SigLIP SO400M
融合 64 个视觉查询 token + 类型化决策头,文本与视觉主干联合微调
参数量 **756,409,158(约 0.756B)**; 0.7B 是近似命名
上下文 最多 512 token,图像预留 64 个视觉 token;超限自动截断,优先保留问题/候选项和状态开头
选择的训练步 16,882(按验证损失选出)
我没有采用 Laya 已训练好的权重;只是复用了其部分决策头实现,并保留衍生代码的许可声明。这个检查点包含完整的文本编码器、视觉编码器、融合层与决策头;**不要只下载权重文件**,还需要同目录的 model config.json 、 tokenizer/ 、 image processor/ 、 text encoder/ 、 vision encoder/ 。当前是 LaKun 自定义架构,不能直接用 Transformers 的 AutoModel.from pretrained() 读取。
如何使用
先安装与本机驱动匹配的 PyTorch,再安装我的 PyPI 代码包。模型权重单独存放在本仓库;传入 hh108801/LaKun-0.7B 时,加载器会下载并缓存完整检查点:
如果仓库设置了访问限制,先使用 ms-hub login 登录。在 Python 中也可以直接使用仓库 ID;首次运行的下载耗时不计入下面的推理测速:
传入自己的图片
把 image path 改为本地**真实存在**的图片路径。下面只传一张图,同时问选择、档位评分和二元判断;这段代码只演示调用方式,不预设图片的答案:
目前**一组只支持一张图片**。 score 返回的是分档索引,而不是连续回归数值。所有 probabilities 是 softmax 输出;我尚未验证校准程度,**不把它们宣传为真实正确概率**。
对于过长的输入,我优先保留问题及候选项(过长候选项会缩短),再放入状态文本的**开头**;截掉的尾部不参与推理。如果答案线索在长文末尾,请先摘要或分段处理。
我做过的评测
我按组切分训练、验证、测试集;模型选择只使用验证损失。最佳验证损失为 0.014464 。在 **12,703 组、38,141 题**的留出测试集上,最高分选项与 qwen3.8-flash 教师伪标签的逐题一致率是:
问题类型 留出集一致率
- -- ---:
Choice 86.14%
Score 85.21%
Noul 98.13%
这**不是人工标注真值的准确率**,更不是通用能力或概率校准结论。第二轮训练损失继续下降时,验证损失反而升高,因此我最终保留了第一轮末的检查点,而没有用训练末尾的权重。
推理测速
我在**本机 Windows 11、RTX 3060 12GB、PyTorch 2.7.1+cu126、FP32**上对同一个完整检查点测速。每个场景预热 5 次、串行计时 30 次,CUDA 在每次计时前后同步;下表是整个 predict() 调用的墙钟时间,包含分词、图片读取与预处理、前向传播和输出整理,**不含加载权重、下载或网络请求**。这是固定输入上的延迟测试,不是准确率评估;不同机器、输入长度或并发下结果会变。
场景 平均耗时 p95 耗时
- -- ---: ---:
纯文本·单题 17.33 ms 19.23 ms
纯文本·三题 18.19 ms 18.65 ms
单图·单题 163.06 ms 168.69 ms
单图·三题 168.88 ms 171.59 ms
我的数据集
我把图像与文本都整理为“一组状态 + 多道类型化问题”。全部问题标签由 qwen3.8-flash 生成,是**伪标签**而不是人工核验答案。当前数据共有 **126,663 组 / 380,424 题**:图像 59,996 组 / 180,424 题,文本 66,667 组 / 200,000 题;按组约 8:1:1 划分,避免同组问题跨集合。
类型 图像题 文本题 总题数
- -- ---: ---: ---:
Choice 60,401 66,667 127,068
Score 60,015 66,667 126,682
Noul 60,008 66,666 126,674
我还统计了候选项个数与答案位置。四选一题中,图像题的 B 项占 53.15%、D 项占 1.74%;文本题的 B 项占 46.48%、D 项占 2.98%。
图像来自 7 个来源子集,合成文本涵盖 50 个方向。下面两张图记录来源、中文字符覆盖、长度预算和文本方向频数。
我目前看到的局限
LaKun 在**接近我训练数据分布**的选择、分档和二元题上已有可用表现。我在试用中感觉:带有明确数值线索、需要在给定选项之间做简单推理的题目,它往往更容易答好;**这是观察,不是已完成的独立分项基准测试**。
但我也观察到明显的外推边界:一次外部垃圾评论分类测试显示跨领域迁移较弱;第二轮训练损失继续下降而验证损失变差,让我担心过度专用化,甚至某种“微调坍塌”。目前**不能据此证明底座能力本身发生坍塌**;还需要与原始底座、不同训练检查点、人工标注域外集做严格对照。候选项位置偏斜、教师伪标签错误和未校准的 softmax 分数也都会放大误判风险。
因此我不会把本模型宣传成通用分类器、已验证的数值推理模型或强泛化视觉模型。它当前仅支持单图;在你自己的数据上完成评测、人工复核和概率校准之前,请勿把输出当作高风险决策依据。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
