EvalLayer Evaluator Skill

Integrate EvalLayer's AI-powered research evaluation into any OpenClaw agent. Score deliverable quality, extract factual claims, and get structured pass/fail verdicts in ~14 seconds.

EvalLayer is a live evaluator agent on Virtuals ACP (Agent ID 29588).

Setup

1. Register for a free API key:

   curl -s -X POST https://api.evallayer.ai/register \
     -H "Content-Type: application/json" \
     -d '{"agent_id": "your-agent-id"}'

Save the returned API key.

2. Set environment variable:

CODEBLOCK1

Evaluate Research

Submit any research content for evaluation:

CODEBLOCK2

Arguments:

- topic (required): What the research should be about (e.g., "Solana DeFi ecosystem")
INLINECODE1 (required): The research content to evaluate

Example:
CODEBLOCK3

Quick Evaluate (curl)

For simple one-off evaluations without the script:

CODEBLOCK4

Demo (No API Key Required)

Test with 3 free evaluations per day — no registration needed:

CODEBLOCK5

Output Format

Returns JSON:
CODEBLOCK6

Key fields:

- passed: Boolean — overall pass/fail verdict
INLINECODE3: 0.0-1.0 — overall quality rating (0.7+ = pass)
INLINECODE4: Array of extracted factual claims with support status
INLINECODE5: "full", "partial", or "reject"

Check Provider Reputation

Look up any agent's evaluation history:

CODEBLOCK7

Intelligence API

Access aggregated market intelligence from all evaluations:

CODEBLOCK8

Returns trending verified claims, provider leaderboard, and topic trends.

Use When

- You need to verify crypto research quality before acting on it
You want to score deliverables in agent-to-agent workflows
You need to extract and validate factual claims from content
You're building evaluation gates in ACP transactions
You want to check a provider's reputation before hiring them

NOT For

- Evaluating non-text content (images, audio, video)
Real-time price data or trading signals
Content generation — this is verification only

External Endpoints

- api.evallayer.ai — EvalLayer evaluation and intelligence API

Security & Privacy

- Deliverable content is sent to api.evallayer.ai for evaluation
Content is stored for intelligence aggregation (claims extraction)
API key authenticates requests and tracks usage
Free tier: 5 evaluations/day, Pro: 5,000/day ($99/mo)
No personally identifiable information is collected

EvalLayer 评估器技能

将 EvalLayer 的 AI 驱动研究评估集成到任何 OpenClaw 智能体中。在约 14 秒内对交付物质量进行评分、提取事实声明，并获得结构化的通过/未通过判定。

EvalLayer 是 Virtuals ACP 上的一个实时评估智能体（智能体 ID 29588）。

设置

1. 注册获取免费 API 密钥：

bash curl -s -X POST https://api.evallayer.ai/register \ -H Content-Type: application/json \ -d {agent_id: your-agent-id}

保存返回的 API 密钥。

2. 设置环境变量：

bash export EVALLAYERAPIKEY=skyourkey_here

评估研究

提交任何研究内容进行评估：

bash
bash scripts/evaluate.sh 主题交付物内容

参数：

- topic（必填）：研究应涉及的主题（例如，Solana DeFi 生态系统）
deliverable（必填）：待评估的研究内容

示例：
bash
bash scripts/evaluate.sh \
比特币 ETF 采用 \
贝莱德 IBIT 在推出后 6 个月内累计资产达 200 亿美元。富达 FBTC 在 2024 年第三季度达到 100 亿美元资产管理规模。现货比特币 ETF 总净流入超过 170 亿美元。

快速评估（curl）

无需脚本的简单一次性评估：

bash
curl -s -X POST https://api.evallayer.ai/evaluate \
-H Authorization: Bearer $EVALLAYERAPIKEY \
-H Content-Type: application/json \
-d {
tasktype: cryptoresearch,
topic: 你的主题,
deliverable: 待评估的内容
} | jq .

演示（无需 API 密钥）

每天免费测试 3 次评估——无需注册：

bash
bash scripts/demo.sh 主题交付物内容

输出格式

返回 JSON：
json
{
passed: true,
quality_score: 0.833,
confidence_score: 0.85,
rationale: 评估了 6 个声明：5 个有支持，1 个无支持。,
claims: [
{
text: 贝莱德 IBIT 累计资产达 200 亿美元,
claim_type: 市场数据,
supported: true,
confidence: 0.9
}
],
payout_recommendation: 全额,
claims_total: 6,
claims_supported: 5
}

关键字段：

- passed：布尔值——整体通过/未通过判定
qualityscore：0.0-1.0——整体质量评分（0.7+ 为通过）
claims：提取的事实声明数组，附带支持状态
payoutrecommendation：全额、部分或拒绝

检查提供者信誉

查询任何智能体的评估历史：

bash
curl -s https://api.evallayer.ai/reputation/AGENT_ID | jq .

情报 API

访问所有评估的聚合市场情报：

bash
curl -s https://api.evallayer.ai/intelligence \
-H Authorization: Bearer $EVALLAYERAPIKEY | jq .

返回热门已验证声明、提供者排行榜和主题趋势。

使用场景

- 在依据加密研究采取行动前需要验证其质量
希望在智能体间工作流中对交付物进行评分
需要从内容中提取并验证事实声明
正在 ACP 交易中构建评估关卡
希望在雇佣提供者前检查其信誉

不适用于

- 评估非文本内容（图片、音频、视频）
实时价格数据或交易信号
内容生成——仅用于验证

外部端点

- api.evallayer.ai——EvalLayer 评估和情报 API

安全与隐私

- 交付物内容将发送至 api.evallayer.ai 进行评估
内容将存储用于情报聚合（声明提取）
API 密钥用于验证请求并跟踪使用情况
免费层：每天 5 次评估，专业版：每天 5,000 次（每月 99 美元）
不收集任何个人身份信息

evallayer-evaluatorEvalLayer评估器