模型介绍
中文整理Visual-ERM
模型概述
Visual-ERM是一个用于视觉到代码任务的多模态生成式奖励模型。它直接在渲染的视觉空间中评估输出，并产生细粒度、可解释且任务无关的差异反馈，用于结构化视觉重建。
现有奖励模型的局限
现有视觉到代码任务的奖励通常分为两类：文本奖励（如编辑距离或TEDS）忽略重要的视觉线索，如布局、间距、对齐和样式；视觉嵌入奖励（如DINO相似度）通常粗粒度，容易受到奖励黑客攻击。
Visual-ERM的解决方案
Visual-ERM直接比较真实图像与模型预测产生的渲染图像，然后生成结构化差异注释。这些注释可转换为奖励信号或用于反思优化。
模型功能
Visual-ERM用于判断预测结果是否与目标视觉等价。给定一对图像，它可以识别以下差异：类别、严重程度、位置、描述。该模型不仅可作为强化学习的奖励模型，还可作为测试时反思和修订的视觉批评器。
支持的任务
Visual-ERM专为结构化视觉重建任务设计，包括：图表转代码、表格转Markdown、SVG转代码。
主要特点
视觉空间奖励建模：在渲染的视觉空间中评估预测，而非仅依赖文本匹配或粗粒度嵌入相似度。细粒度且可解释的反馈：产生结构化差异注释，而非单一的黑箱分数。任务无关的奖励监督：统一的奖励模型，可跨多个视觉到代码任务泛化。训练和推理均可用：可作为强化学习中的奖励模型，也可作为测试时细化的视觉批评器。
输入输出
输入：参考/真实图像、渲染的预测图像、要求模型识别细粒度视觉差异的提示。输出：结构化差异注释，可转换为强化学习的标量奖励，或作为反思和修订的反馈。
运行要求
Visual-ERM基于Qwen/Qwen3-VL-8B-Instruct微调，遵循相同的多模态接口。
基本用法
该模型可应用于推理、评估和强化学习。具体使用方法请参考官方代码仓库。
预期用途
Visual-ERM适用于：视觉到代码强化学习管道中的奖励建模、目标与预测渲染之间的视觉差异判断、推理时的基于反思的修订、视觉奖励建模和多模态强化学习研究。
引用
如使用该模型，请引用相关论文。
联系信息
如对视觉奖励建模、视觉到代码或多模态模型强化学习感兴趣，欢迎联系。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。