Auto Arena 技能

使用 OpenJudge AutoArenaPipeline 进行端到端自动化模型对比：

1. 1. 生成查询 — LLM 根据任务描述生成多样化的测试查询
2. 收集响应 — 并发查询所有目标端点
3. 生成评分标准 — LLM 根据任务和示例查询生成评估标准
4. 成对评估 — 评判模型比较每一对模型（含位置偏差交换）
5. 分析与排名 — 计算胜率、胜率矩阵和排名
6. 报告与图表 — Markdown 报告 + 胜率柱状图 + 可选矩阵热力图

前置条件

bash

安装 OpenJudge

auto_arena 的额外依赖（图表生成）

运行前需从用户处收集的信息

快速开始

CLI

bash

运行评估

使用预生成的查询

全新开始，忽略检查点

仅使用新的评判模型重新运行成对评估

（保留查询、响应和评分标准）

Python API

python
import asyncio
from cookbooks.autoarena.autoarena_pipeline import AutoArenaPipeline

async def main():
pipeline = AutoArenaPipeline.from_config(config.yaml)
result = await pipeline.evaluate()

print(f最佳模型: {result.best_pipeline})
for rank, (model, win_rate) in enumerate(result.rankings, 1):
print(f{rank}. {model}: {win_rate:.1%})

asyncio.run(main())

最小化 Python API（无需配置文件）

python
import asyncio
from cookbooks.autoarena.autoarena_pipeline import AutoArenaPipeline
from cookbooks.auto_arena.schema import OpenAIEndpoint

async def main():
pipeline = AutoArenaPipeline(
task_description=电商客服聊天机器人,
target_endpoints={
gpt4: OpenAIEndpoint(
base_url=https://api.openai.com/v1,
api_key=sk-...,
model=gpt-4,
),
qwen: OpenAIEndpoint(
base_url=https://dashscope.aliyuncs.com/compatible-mode/v1,
api_key=sk-...,
model=qwen-max,
),
},
judge_endpoint=OpenAIEndpoint(
base_url=https://api.openai.com/v1,
api_key=sk-...,
model=gpt-4,
),
num_queries=20,
)
result = await pipeline.evaluate()
print(f最佳: {result.best_pipeline})

asyncio.run(main())

CLI 选项

最小化配置文件

yaml
task:
description: 用于研究和写作任务的学术 GPT 助手

target_endpoints:
model_v1:
base_url: https://api.openai.com/v1
apikey: ${OPENAIAPI_KEY}
model: gpt-4
model_v2:
base_url: https://api.openai.com/v1
apikey: ${OPENAIAPI_KEY}
model: gpt-3.5-turbo

judge_endpoint:
base_url: https://api.openai.com/v1
apikey: ${OPENAIAPI_KEY}
model: gpt-4

完整配置参考

task

target_endpoints.\

judge_endpoint

与 target_endpoints. 字段相同。使用强模型（例如 gpt-4、qwen-max），温度设为较低值（~0.1）以获得一致的评判。

query_generation

evaluation

output

report