大模型安全测评全流程管理技能使用指南

触发条件

脚本位置说明

脚本目录： INLINECODE0

执行方式：
CODEBLOCK0

以下示例均需先进入脚本目录

⚠️ 易错点说明

1. 资产ID vs 资产名称

• - update_asset_model.ts 的第一个参数是 Name（资产名称），不是 AssetID。脚本会自动根据名称和ModelID查询资产ID。
• update_asset_agent.ts 的参数是 <AgentID> <Name> <PlatformID>，需要同时提供资产ID和名称。

2. 脚本代码问题

• - 部分脚本可能存在重复属性问题（如 proxy: false 重复），导致 TypeScript 编译错误。如遇此类错误，需要检查并修复脚本代码。

3. 模态类型匹配

• - 资产的模态类型必须包含测评集的模态类型，否则无法发起测评。
• 例如：测评集是 text2text，资产的模态类型可以是 text2text 或 text2text,image2text，但不能只有 image2text。

4. 智能体平台参数

• - 不同智能体平台需要不同的参数，必须先用 list_agent_platforms.ts vars <PlatformID> 查询该平台需要的参数。

5. 安全测评剧本适用范围

• - 部分安全测评剧本专门针对 OpenClaw，部分是通用的。查询剧本时会显示 assetTypes[] 字段，如果为空则表示通用。

通用枚举

模态类型

• - text2text：文生文
• INLINECODE14：图文生文
• INLINECODE15：文生图

资产类型

• - model：大模型
• INLINECODE17：智能体
• INLINECODE18：OpenClaw 资产

合规测评任务状态

状态码	状态名称	说明
0	待测评	任务已创建，等待开始执行
1

测评中 | 任务正在执行 |

安全测评任务状态

状态码	状态名称	说明
10	等待处理	任务已创建，等待开始执行
20

处理中 | 任务正在执行 |

资产管理

1. 创建大模型资产

调用：
CODEBLOCK1

参数：

• - Name：资产名称（如：deepseek-v3）
• INLINECODE20：模型 ID（如：ep-20250325142301-ljxvm）
• INLINECODE21：API 地址（如：https://ark-cn-beijing.bytedance.net/api/v3）
• INLINECODE22：API 密钥（如：sk-xxxxxxxxxxxx）
• INLINECODE23：模态类型（可选，逗号分隔，默认：text2text）

示例：

npx ts-node src/create_asset_model.ts deepseek-v3 ep-20250325142301-ljxvm https://ark-cn-beijing.bytedance.net/api/v3 sk-xxxxxxxxxxxx text2text

2. 更新大模型资产

调用：
CODEBLOCK3

参数：

• - Name：资产名称（⚠️ 注意：不是 AssetID，脚本会自动查询）
• INLINECODE25：模型 ID
• INLINECODE26：API 地址
• INLINECODE27：API 密钥
• INLINECODE28：模态类型（可选，逗号分隔，默认：text2text）

示例：
CODEBLOCK4

⚠️ 注意：

• - 第一个参数是 Name（资产名称），不是 INLINECODE30
• 脚本会根据 Name 和 ModelID 自动查询资产ID

3. 查询智能体平台

调用：
CODEBLOCK5

⚠️ 注意：

• - 创建智能体资产前，必须先查询该平台需要的参数
• 不同平台需要的参数不同，例如 dify 平台需要 api_key，hiagent 平台可能需要其他参数

4. 创建智能体资产

调用：
CODEBLOCK6

参数：

• - Name：智能体资产名称
• INLINECODE35：平台 ID（通过 list_agent_platforms.ts list 查询）
• INLINECODE37：智能体对话变量（可多个，支持 JSON 格式）

示例：
CODEBLOCK7

⚠️ 注意：

• - 必须先用 list_agent_platforms.ts vars <PlatformID> 查询该平台需要的参数
• 参数格式为 --key=value，例如 --api_key=app-xxx、INLINECODE41

5. 更新智能体资产

调用：
CODEBLOCK8

参数：

• - AgentID：资产 ID
• INLINECODE43：智能体资产名称
• INLINECODE44：平台 ID
• INLINECODE45：智能体对话变量（可多个，支持 JSON 格式）

示例：
CODEBLOCK9

⚠️ 注意：

• - 参数顺序是 <AgentID> <Name> <PlatformID>，与创建智能体不同
• 需要同时提供资产ID和名称

资源查询

6. 查询可用资源

调用：
CODEBLOCK10

参数：

• - ModalTypes：模态类型（可选，逗号分隔，如：text2text,image2text）
• INLINECODE48：资产类型（可选，用于筛选剧本）

输出示例：
CODEBLOCK11

⚠️ 注意：

• - 查询资源时会显示资产的模态类型，确保资产的模态类型包含测评集的模态类型
• 例如：测评集是 text2text，资产的模态类型可以是 text2text 或 INLINECODE51

合规测评

7. 发起合规测评任务

调用：
CODEBLOCK12

参数：

• - 测评集ID：测评集的唯一标识符
• INLINECODE53：测评对象的唯一标识符（模型、智能体或 OpenClaw）
• INLINECODE54：资产类型（可选，默认：model）

⚠️ 注意：

• - 资产的模态类型必须包含测评集的模态类型，否则无法发起测评
• 如果资产模态类型不匹配，会返回错误

8. 分析合规测评任务

调用：：
CODEBLOCK13

参数：

• - TaskID：任务 ID（格式如：019ce0495b68758ea00fda8fc63b2ba0）

功能：

• - 查询任务状态
• 如果任务成功完成，自动拉取数据并分析
• 如果任务未完成，显示执行进度和预估时间
• 如果任务异常/暂停/终止，显示状态并提示无法分析

输出（任务已完成）：
CODEBLOCK14

输出（任务未完成）：

任务状态：测评中（状态码：1）
执行进度：30/76 (39.5%)
预计剩余时间：1分钟

安全测评

9. 发起安全测评任务

调用：
CODEBLOCK16

参数：

• - TaskName：任务名称（如：提示词注入测试）
• INLINECODE57：测评对象 ID（模型、智能体或 OpenClaw）
• INLINECODE58：资产类型（model/agent/openclaw）
• INLINECODE59：安全测评剧本 ID（通过 list_rt_scenarios.ts 查询）

⚠️ 注意：

• - 部分剧本专门针对 OpenClaw，部分是通用的
• 查询剧本时会显示 assetTypes[] 字段，如果为空则表示通用
• 如果是 OpenClaw 专用剧本，资产类型必须是 INLINECODE62

10. 分析安全测评任务

调用：
CODEBLOCK17

参数：

• - TaskID：任务 ID

功能：

• - 查询安全测评任务报告
• 自动拉取报告数据并分析

输出：
CODEBLOCK18

⚠️ 注意：

• - 如果任务状态是 20（处理中），需要等待任务完成后再分析
• 可以多次运行此命令查询任务进度