|
Salesforce于11月11日介绍SFR-AutoR&D：一组用于自动化模型与代码研发循环的代理。给定研发目标、待改进系统和计算预算后，它们会提出假设、实现候选方法、对照基线开展实验，并只保留有证据支持的改进。
系统包含两类代理：AutoR&D-Engineer负责在现有代码库中寻找并实现算法或系统改进；TrainForge探索训练方法并评估模型候选。Salesforce称，AutoR&D曾改进其检索模型SFR-Embedding V3，也被用于改进开源EmbeddingGemma 2并产出SFR-Embedding v4。公司报告称，在10项公开检索任务上的一次评估中，nDCG@10提高6.13分；另一轮运行则提升36%吞吐量、降低17%延迟，质量几乎没有损失。这些是Salesforce给出的测试结果，实际表现会受环境和评测设置影响。
该系统的特点是把研发目标、预算、数据约束和评估留给研究人员设定，再让代理在边界内自动试验。Salesforce也表示，面向产品的模型仍须通过生产要求审核，相关工作还在进行中，因此不能把研发试验等同于已经全面上线。
来源：Salesforce公告 https://www.salesforce.com/news/stories/agents-that-improve-ai-models/
项目与实验说明：https://sfr-autornd.github.io/ |
0