闲社服务运行正常AI智能体自动化平台
l

LLM评估器

技能标识:llm-evaluator

LLM-as-a-Judge evaluation system using Langfuse. Score AI outputs on relevance, accuracy, hallucination, and helpfulness. Backfill scoring on historical traces. Uses GPT-5-nano for cost-efficient judging. Use when evaluating AI quality, building evals, or monitoring output accuracy.

作者:admin | 来源记录:ClawHub
登记来源
ClawHub
版本
V 1.0.0
检测标记
后台标记通过
免费
免费获取
0
收藏
来源与检测标记为平台登记信息,并不代表已展示可复核的检测报告。使用前请核对版本、依赖和所需权限,建议先在隔离环境中运行。
概述
安装方式
版本历史

LLM评估器

LLM 评估器 ⚖️

基于 Langfuse 的 LLM 作为裁判评估系统。使用 GPT-5-nano 对 AI 输出进行评分。

使用场景

  • - 评估搜索结果或 AI 回复的质量
  • 对追踪记录进行相关性、准确性、幻觉检测评分
  • 批量评分近期未评分的追踪记录
  • 对智能体输出进行质量保证

使用方法

bash

使用示例进行测试


python3 {baseDir}/scripts/evaluator.py test

对特定 Langfuse 追踪记录进行评分

python3 {baseDir}/scripts/evaluator.py score

仅使用特定评估器进行评分

python3 {baseDir}/scripts/evaluator.py score --evaluators relevance

对近期未评分的追踪记录进行回填评分

python3 {baseDir}/scripts/evaluator.py backfill --limit 20

评估器

评估器衡量指标评分范围
relevance回复与查询的相关性0–1
accuracy
事实准确性 | 0–1 | | hallucination | 虚构信息检测 | 0–1 | | helpfulness | 整体有用性 | 0–1 |

致谢

由 M. Abidi 构建 | agxntsix.ai YouTube | GitHub 属于面向 OpenClaw 智能体的 AgxntSix 技能套件 的一部分。

📅 需要为您的业务搭建 OpenClaw? 预约免费咨询

标签

skill ai

通过对话安装

以下为平台配置的接入选项,并非逐项实测通过。能否安装取决于客户端支持、技能来源和运行环境:

OpenClaw WorkBuddy QClaw Kimi Claude

方式一:安装 SkillHub 和技能

帮我安装 SkillHub 和 llm-evaluator-1776208082 技能

方式二:设置 SkillHub 为优先技能安装源

设置 SkillHub 为我的优先技能安装源,然后帮我安装 llm-evaluator-1776208082 技能

通过命令行安装

skillhub install llm-evaluator-1776208082

下载

⬇ 下载 llm-evaluator v1.0.0(免费)

文件大小: 5.04 KB | 发布时间: 2026-4-15 13:30

v1.0.0 最新 2026-4-15 13:30
- Initial release of the llm-evaluator skill.
- Provides an LLM-as-a-Judge system for evaluating AI outputs using relevance, accuracy, hallucination, and helpfulness scores.
- Integrates with Langfuse and uses GPT-5-nano for efficient automated judging.
- Enables batch backfill scoring for historical traces and real-time evaluation of outputs.
- Command-line interface for testing, scoring specific traces, and running backfills.
返回顶部