内置评估器

质量评估器（AI 辅助）

python
from azure.ai.evaluation import (
GroundednessEvaluator,
RelevanceEvaluator,
CoherenceEvaluator,
FluencyEvaluator,
SimilarityEvaluator,
RetrievalEvaluator
)

使用 Azure OpenAI 模型配置初始化

groundedness = GroundednessEvaluator(model_config)
relevance = RelevanceEvaluator(model_config)
coherence = CoherenceEvaluator(model_config)

质量评估器（基于 NLP）

python
from azure.ai.evaluation import (
F1ScoreEvaluator,
RougeScoreEvaluator,
BleuScoreEvaluator,
GleuScoreEvaluator,
MeteorScoreEvaluator
)

f1 = F1ScoreEvaluator()
rouge = RougeScoreEvaluator()
bleu = BleuScoreEvaluator()

安全评估器

python
from azure.ai.evaluation import (
ViolenceEvaluator,
SexualEvaluator,
SelfHarmEvaluator,
HateUnfairnessEvaluator,
IndirectAttackEvaluator,
ProtectedMaterialEvaluator
)

violence = ViolenceEvaluator(azureaiproject=project_scope)
sexual = SexualEvaluator(azureaiproject=project_scope)

单行评估

python
from azure.ai.evaluation import GroundednessEvaluator

groundedness = GroundednessEvaluator(model_config)

result = groundedness(
query=什么是 Azure AI？,
context=Azure AI 是微软的 AI 平台...,
response=Azure AI 提供 AI 服务和工具。
)

print(f基础性得分：{result[groundedness]})
print(f原因：{result[groundedness_reason]})

使用 evaluate() 进行批量评估

python
from azure.ai.evaluation import evaluate

result = evaluate(
data=test_data.jsonl,
evaluators={
groundedness: groundedness,
relevance: relevance,
coherence: coherence
},
evaluator_config={
default: {
column_mapping: {
query: ${data.query},
context: ${data.context},
response: ${data.response}
}
}
}
)

print(result[metrics])

复合评估器

python
from azure.ai.evaluation import QAEvaluator, ContentSafetyEvaluator

所有质量指标合一

所有安全指标合一

result = evaluate(
data=data.jsonl,
evaluators={
qa: qa_evaluator,
contentsafety: safetyevaluator
}
)

评估应用程序目标

python
from azure.ai.evaluation import evaluate
from myapp import chatapp # 您的应用程序

result = evaluate(
data=queries.jsonl,
target=chat_app, # 可调用对象，接收查询，返回响应
evaluators={
groundedness: groundedness
},
evaluator_config={
default: {
column_mapping: {
query: ${data.query},
context: ${outputs.context},
response: ${outputs.response}
}
}
}
)

自定义评估器

基于代码

python
from azure.ai.evaluation import evaluator

@evaluator
def wordcountevaluator(response: str) -> dict:
return {word_count: len(response.split())}

在 evaluate() 中使用

基于提示

python
from azure.ai.evaluation import PromptChatTarget

class CustomEvaluator:
def init(self, model_config):
self.model = PromptChatTarget(model_config)

def call(self, query: str, response: str) -> dict:
prompt = f评分此响应 1-5：查询：{query}，响应：{response}
result = self.model.send_prompt(prompt)
return {custom_score: int(result)}

记录到 Foundry 项目

python
from azure.ai.projects import AIProjectClient
from azure.identity import DefaultAzureCredential

project = AIProjectClient.fromconnectionstring(
connstr=os.environ[AIPROJECTCONNECTION_STRING],
credential=DefaultAzureCredential()
)

result = evaluate(
data=data.jsonl,
evaluators={groundedness: groundedness},
azureaiproject=project.scope # 将结果记录到 Foundry
)

print(f查看结果：{result[studio_url]})

评估器参考

最佳实践

1. 1. 使用复合评估器进行综合评估
2. 正确映射列——列不匹配会导致静默失败
3. 记录到 Foundry以跟踪和比较各次运行
4. 创建自定义评估器用于特定领域的指标
5. 使用 NLP 评估器当您有真实答案时
6. 安全评估器需要Azure AI 项目范围
7. 批量评估比单行循环更高效

参考文件