闲社

标题: HuggingEnvs开源水彩代码模型：用偏好训练Qwen3.5 [打印本页]

作者: meteor1982 时间: 2026-9-4 15:05
标题: HuggingEnvs开源水彩代码模型：用偏好训练Qwen3.5
【事件概述】
Hugging Face 社区项目 HuggingEnvs 于 2026 年 9 月 3 日公开一套“用代码画水彩”的强化学习实验及三款 LoRA 适配器。模型以 Qwen3.5-35B-A3B 为基础，不直接生成像素图片，而是输出调用 p5.brush 的 JavaScript 绘图程序，再由浏览器渲染成水彩画。项目同时开放训练脚本、强化学习环境、参考图池、训练轨迹和模型适配器，重点验证一个问题：能否把人工挑选的审美偏好变成可学习的奖励信号。

【模型与开发者】
模型：watercolour-grpo-judge-led、watercolour-grpo-hps-led、watercolour-grpo-hps-only
基础模型：Qwen/Qwen3.5-35B-A3B
开发者：Sergio Paniego / HuggingEnvs
官方发布日期：2026 年 9 月 3 日
适配器许可：Apache License 2.0

日期核对说明：Hugging Face 技术文章明确标注 2026 年 9 月 3 日；本文采用文章发布日期作为项目公开日期，不把模型仓库的后续更新时间当成新的发布事件。

【关键能力与方法】
1. 代码驱动画面：模型生成约 150 行 JavaScript，通过 p5.brush 的有限绘图接口控制笔触、颜料渗化、透明度和纸张质感，因此结果可阅读、修改并重新执行。
2. 三种奖励组合：训练奖励包含代码能否运行、代码长度、HPSv3 审美偏好模型，以及由 Qwen3-VL-30B-A3B-Instruct 执行的成对图像比较。三款适配器分别提高“人工参考池判断”或 HPSv3 的权重，用于比较不同审美信号。
3. GRPO 加 LoRA：项目使用 TRL 与 OpenEnv 训练，仅为基础模型挂载 LoRA 适配器。hps-only 训练 60 步，另外两组在 110 步保存检查点；模型卡记录的 LoRA 可训练参数约 3043 万，并未重新训练全部基础模型参数。
4. 完整开放实验链路：参考池包含人工分档的水彩图，训练环境负责执行代码和渲染，公开的 rollout 数据保留每次生成、渲染结果与奖励，便于复核奖励曲线而不只看精选样例。
5. 初步结果：官方报告显示三组训练的平均奖励均有上升。引入成对判断器的两组不仅减少低分失败图，还提高颜料覆盖和与人工参考风格的接近程度；hps-only 更主要的改善是让明显失败的画面变少。

【适用对象】
这套模型与配套环境适合研究生成式艺术、代码生成、审美偏好建模、GRPO 和可复现实验的开发者，也适合希望把“人的品味”转成奖励函数的创意工具团队。它更像研究原型和训练范例，不是面向普通用户的一键生图产品。

【实际影响】
传统文本生图通常只暴露提示词和少量参数，而代码绘画把每个笔触背后的程序保留下来。创作者可以检查、编辑或复用生成代码，研究者也能追踪某个奖励函数如何改变模型行为。

更重要的是，该实验把“审美”拆成公开参考池、通用偏好模型和多模态比较器三个可检查部件。对品牌视觉、版式生成或风格化内容生产而言，这提供了一种可迁移思路：不是只写更长的提示词，而是整理明确的偏好样本，再用奖励训练模型靠近这些样本。

【限制与使用提醒】
当前实验只围绕“桃色木槿”这一主题和 p5.brush 这一套绘图库训练。模型卡明确表示尚不能证明它能泛化到其他花卉、动物、场景或绘图框架，因此不能把样例效果理解为通用水彩生成能力。

训练步数较少，三组奖励函数也不相同，绝对奖励值不能直接横向当作统一排行榜。成对判断器本身会有噪声，项目尚未完成其重复评分一致性验证；hps-only 的训练后泛化探测还因适配器加载路径问题而未报告。

复现实验成本并不低：官方记录使用 H200 训练，并需要运行 HPSv3 的 A100 Space、CPU 渲染环境及多模态判断模型的推理额度。加载适配器时还必须使用带视觉塔的 Qwen3_5MoeForConditionalGeneration；若错误使用文本专用加载路径，大量适配器张量可能无法匹配，实际运行的仍是基础模型。

适配器页面标注 Apache-2.0，但实际部署还应分别核对 Qwen3.5 基础模型、p5.brush、参考图片与数据集的许可证。生成内容用于商业设计前，也应检查素材来源、风格相似性和版权风险。

【官方来源】
Hugging Face 技术文章：https://huggingface.co/blog/train-to-paint-with-code
HPS-led 适配器：https://huggingface.co/HuggingEnvs/watercolour-grpo-hps-led
HPS-only 适配器：https://huggingface.co/HuggingEnvs/watercolour-grpo-hps-only
开源训练代码：https://github.com/adithya-s-k/HuggingEnvs/tree/main/02-watercolour

欢迎光临闲社 (https://www.xianshe.com/)