Config 配置审计服务助手
使用scripts中的脚本,通过Config服务,查询云上资源情况、资源配置、资源schema、云服务的预置合规规则。具体有如下能力:
- - 查询资源概览;
- 查询资源Schema;
- 按条件通过SQL查询资源;
- 资源合规性分析:包含但不限于从以下维度分析资源配置,'为事件响应做好准备', '优化成本', '身份管理', '保护数据完整性', '保护配置', '加密传输中的数据', '加密静态数据', '建立日志记录和监控', '强制执行最低权限', '提高可用性', '提高韧性', '管理机密', '管理漏洞', '管理规格', '限制网络访问', '资源管理';
前置条件
环境变量配置
在使用此技能前,需要确保以下环境变量已正确配置。这些是访问华为云Config服务的必要凭证。
必需的环境变量:
- -
HUAWEICLOUD_AK - 访问密钥(Access Key) - INLINECODE1 - 秘密密钥(Secret Access Key)
重要提示:
- - 这些环境变量包含敏感信息,检查配置时严禁在控制台打印
- 用户配置的AK仅需要
Config ReadOnlyAccess的权限,用户无需过度授权
配置步骤:
- 1. Windows PowerShell 配置:
CODEBLOCK0
- 2. 或通过系统环境变量配置:
- Windows: 在"系统属性" > "环境变量"中设置
- Linux/Mac: 在
~/.bashrc 或
~/.zshrc 中添加
export 命令
- 3. 验证配置:
CODEBLOCK1
依赖安装
确保已安装以下Python依赖:
CODEBLOCK2
工作流程
资源查询
1. 查询资源概览
获取华为云上所有资源的汇总统计信息。
命令:
CODEBLOCK3
参数说明:
- -
--provider: 可选,表示只查询某个云服务的资源概览, 示例:
-
obs
- INLINECODE8
- -
--region_id: 可选,表示只查询某个区域的资源概览, 示例:
-
cn-north-4: 北京四
-
cn-east-3: 上海一
-
global: 全局
输出格式:
- - JSON格式,包含各区域、各服务类型的资源数量统计
- 示例:
CODEBLOCK4
使用场景:
- - 快速了解云上资源分布
- 识别资源密集的区域和服务
- 为资源审计、成本优化、安全配置等场景提供基础数据
2. 查询资源Schema
获取指定资源类型的详细结构定义,包括所有可用字段及其类型。
命令:
CODEBLOCK5
参数说明:
- -
--resource_type: 资源类型标识符,格式为 provider.type, 示例:
-
obs.buckets: 对象存储桶、OBS桶;
-
ecs.cloudservers: 云服务器、虚机、ECS;
-
iam.users: IAM用户;
-
vpc.securityGroups : VPC安全组;
-
fgs.functions: 函数工作流、函数、FunctionGraph;
输出格式:
- - JSON格式,包含资源的完整Schema定义
- 包含字段名称、类型、描述等信息
使用场景:
- - 了解资源结构和可用字段
- 编写SQL查询前确定查询字段
- 理解资源的配置属性
3. 按条件查询资源(高级SQL查询)
通过SQL语句进行复杂的资源查询,支持多条件筛选、聚合分析等。
支持的查询字段:
- - 基础字段:
id, name, provider, type, region_id, project_id, created, updated, INLINECODE28 - 扩展字段:
properties (JSON对象,包含具体资源配置,每种资源类型的结构与资源schema保持一致)
SQL语法特点:
- - 只能查询
resources 表 - 支持标准SQL语法: SELECT, WHERE, GROUP BY, ORDER BY
- 支持数组操作:
transform, filter, any_match, INLINECODE34 - 支持日期函数:
date_diff, INLINECODE36 - 重要提示:
- - 使用前请先查询资源Schema了解可用字段
- 参考
scripts/sql-example.json 查看丰富的查询示例 - SQL语句需要用双引号包裹,内部字符串使用单引号
- 如果没有查询到资源,查询资源概览已确认云上资源分布
示例1: 查询特定区域的所有资源
首先确定查询需求,生成SQL语句:
CODEBLOCK6
执行查询:
CODEBLOCK7
示例2: 查询IAM用户的密码强度
步骤1: 查询iam.users的Schema了解可用字段
CODEBLOCK8
步骤2: 基于Schema发现密码相关字段为 pwd_status 和 INLINECODE39
步骤3: 编写SQL查询
CODEBLOCK9
步骤4: 执行查询
CODEBLOCK10
更多SQL示例:
- - 查询运行中的ECS: INLINECODE40
- 查询未加密的EVS: INLINECODE41
- 按区域统计资源数: INLINECODE42
- 更多案例: 请学习
scripts/sql-example.json 中的案例
输出格式:
- - JSON数组,每条记录代表一个匹配的资源
- 包含查询中指定的所有字段
合规规则查询
查询云服务的预置合规规则
获取华为云Config服务的预置合规规则列表,用于资源合规性检查。
命令:
查询特定云服务的合规规则:
CODEBLOCK11
查询所有合规规则(限制返回数量):
CODEBLOCK12
参数说明:
- -
--keyword: 过滤关键字,匹配规则名称或描述中包含该关键字的规则 - INLINECODE45 : 限制返回结果数量,默认为10
输出格式:
- - JSON数组,每个元素包含规则ID、名称、描述等信息
- 示例:
CODEBLOCK13
使用场景:
- - 了解可用的合规规则
- 选择合适的规则进行合规性检查
- 制定资源合规策略
华为云场景知识
以下为华为云云服务的场景化知识,在分析资源的安全配置时,需要考虑以下信息:
VPC默认安全组
VPC默认安全组(名称为default)为系统内置资源,不可删除。为提升安全性,将所有出方向、入方向的安全组规则停用或改为Deny的操作权限。
AK/SK安全配置:
华为云的Access Key(AK)为20位随机字符串(例如HPUAAJJAC9GJZDIQCTHN),Secret Key(SK)为40位随机字符串。在资源配置中,仅允许在iam.users字段中包含AK信息,严禁在任何资源配置中明文存储或传递SK。若检测到SK存在于配置中,则判定为敏感信息泄露风险,需立即整改。
云服务中英文对接关系
| provider | type | 中文名 | 服务功能 |
|---|
| cts | trackers | 云审计服务追踪器 | 提供对各种云资源操作记录的收集、存储和查询功能 |
| config |
trackers | 配置审计服务资源记录器 | 提供资源配置的持续的审计能力 |
最佳实践
SQL查询优化
- 1. 使用WHERE条件限制查询范围
- 总是添加
region_id 或其他过滤条件,避免全表扫描
- 示例: INLINECODE47
- 2. 只查询需要的字段
- 避免使用
SELECT *,明确指定需要的字段
- 减少数据传输量,提高查询效率
- 3. 合理使用聚合函数
- 对于统计需求,使用
count(),
sum() 等聚合函数
- 示例: INLINECODE51
安全注意事项
- 1. 保护敏感信息
- 严禁在日志、控制台输出AK/SK等敏感信息
- 使用环境变量存储凭证,不要硬编码在脚本中
- 定期轮换AK/SK
- 仅需
Config ReadOnlyAccess的权限,用户无需过度授权
- 2. 最小权限原则
- 为Config服务配置最小必要权限
- 定期审查API访问权限
- 3. 网络安全
- 确保代理配置正确,通过安全通道访问华为云
- 在生产环境中使用HTTPS
性能优化建议
1批量查询优于单个查询
- - 对于多个资源,使用SQL批量查询而非多次API调用
- 利用SQL的JOIN和子查询功能
2合理安排查询时间
- - 避免在业务高峰期执行大规模资源查询
- 考虑在非工作时间执行资源审计
数据处理建议
- 1. 结果验证
- 检查查询结果的完整性
- 验证关键字段的合理性
- 2. 数据格式化
- 将JSON结果转换为易读格式(如表格)
- 对于大量数据,考虑导出到文件
- 3. 异常处理
- 注意处理查询失败的情况
- 检查API返回的错误信息
常见问题(FAQ)
Q1: 提示"认证失败"怎么办?
A: 检查以下几点:
- - 确认
HUAWEICLOUD_AK 和 HUAWEICLOUD_SK 环境变量已正确配置 - 验证AK/SK是否有效且未过期
- 确认账号有访问Config服务的权限
- 检查网络连接和代理配置
Q2: SQL查询返回空结果?
A: 可能的原因:
- - 查询条件过于严格,尝试放宽条件
- 检查资源类型名称是否正确(区分大小写)
- 确认指定区域确实有资源
- 先查询资源概览,了解资源分布
Q3: 如何查询特定时间范围内创建的资源?
A: 使用日期函数:
CODEBLOCK14
Q4: 如何查询没有标签的资源?
A: 使用 cardinality 函数:
CODEBLOCK15
Q5: 如何处理JSON数组字段的查询?
A: 使用数组操作函数:
- -
any_match: 检查数组中是否存在满足条件的元素 - INLINECODE57 : 转换数组元素
- INLINECODE58 : 过滤数组元素
示例:
CODEBLOCK16
Q6: 如何获取资源关系的完整信息?
A: 建议步骤:
- 1. 先查询主资源(如ECS)的Schema
- 识别关联字段(如
ExtVolumesAttached) - 查询关联资源(如EVS)的Schema
- 编写JOIN查询获取完整信息
错误处理
常见错误及解决方案
| 错误信息 | 可能原因 | 解决方案 |
|---|
| INLINECODE60 | AK/SK配置错误或无效 | 检查环境变量配置,验证AK/SK有效性 |
| INLINECODE61 |
资源类型不存在 | 检查资源类型名称,先查询可用资源类型 |
|
SQL syntax error | SQL语句语法错误 | 检查SQL语法,参考示例文件 |
Config 配置审计服务助手
使用scripts中的脚本,通过Config服务,查询云上资源情况、资源配置、资源schema、云服务的预置合规规则。具体有如下能力:
- - 查询资源概览;
- 查询资源Schema;
- 按条件通过SQL查询资源;
- 资源合规性分析:包含但不限于从以下维度分析资源配置,为事件响应做好准备, 优化成本, 身份管理, 保护数据完整性, 保护配置, 加密传输中的数据, 加密静态数据, 建立日志记录和监控, 强制执行最低权限, 提高可用性, 提高韧性, 管理机密, 管理漏洞, 管理规格, 限制网络访问, 资源管理;
前置条件
环境变量配置
在使用此技能前,需要确保以下环境变量已正确配置。这些是访问华为云Config服务的必要凭证。
必需的环境变量:
- - HUAWEICLOUDAK - 访问密钥(Access Key)
- HUAWEICLOUDSK - 秘密密钥(Secret Access Key)
重要提示:
- - 这些环境变量包含敏感信息,检查配置时严禁在控制台打印
- 用户配置的AK仅需要Config ReadOnlyAccess的权限,用户无需过度授权
配置步骤:
- 1. Windows PowerShell 配置:
powershell
$env:HUAWEICLOUD
AK=youraccess_key
$env:HUAWEICLOUD
SK=yoursecret_key
- 2. 或通过系统环境变量配置:
- Windows: 在系统属性 > 环境变量中设置
- Linux/Mac: 在 ~/.bashrc 或 ~/.zshrc 中添加 export 命令
- 3. 验证配置:
powershell
# 验证但不打印敏感信息
if (-not $env:HUAWEICLOUD
AK) { Write-Error HUAWEICLOUDAK 未配置 }
依赖安装
确保已安装以下Python依赖:
bash
pip install huaweicloudsdkconfig huaweicloudsdkcore
工作流程
资源查询
1. 查询资源概览
获取华为云上所有资源的汇总统计信息。
命令:
shell
python scripts/queryConfigresource_summary.py
参数说明:
- - --provider: 可选,表示只查询某个云服务的资源概览,示例:
- obs
- vpc
- - --region_id: 可选,表示只查询某个区域的资源概览,示例:
- cn-north-4: 北京四
- cn-east-3: 上海一
- global: 全局
输出格式:
- - JSON格式,包含各区域、各服务类型的资源数量统计
- 示例:
json
[
{
provider: vpc,
type: vpcs,
region_id: cn-north-1,
cnt: 5
},
{
provider: kms,
type: keys,
region_id: cn-north-4,
cnt: 2
},
{
provider: iam,
type: users,
region_id: global,
cnt: 5
}
]
使用场景:
- - 快速了解云上资源分布
- 识别资源密集的区域和服务
- 为资源审计、成本优化、安全配置等场景提供基础数据
2. 查询资源Schema
获取指定资源类型的详细结构定义,包括所有可用字段及其类型。
命令:
shell
python scripts/queryConfigresourceschema.py --resourcetype=obs.buckets
参数说明:
- - --resource_type: 资源类型标识符,格式为 provider.type,示例:
- obs.buckets: 对象存储桶、OBS桶;
- ecs.cloudservers: 云服务器、虚机、ECS;
- iam.users: IAM用户;
- vpc.securityGroups: VPC安全组;
- fgs.functions: 函数工作流、函数、FunctionGraph;
输出格式:
- - JSON格式,包含资源的完整Schema定义
- 包含字段名称、类型、描述等信息
使用场景:
- - 了解资源结构和可用字段
- 编写SQL查询前确定查询字段
- 理解资源的配置属性
3. 按条件查询资源(高级SQL查询)
通过SQL语句进行复杂的资源查询,支持多条件筛选、聚合分析等。
支持的查询字段:
- - 基础字段: id, name, provider, type, regionid, projectid, created, updated, tag
- 扩展字段: properties (JSON对象,包含具体资源配置,每种资源类型的结构与资源schema保持一致)
SQL语法特点:
- - 只能查询 resources 表
- 支持标准SQL语法: SELECT, WHERE, GROUP BY, ORDER BY
- 支持数组操作: transform, filter, anymatch, contains
- 支持日期函数: datediff, date_parse
- 重要提示:
- - 使用前请先查询资源Schema了解可用字段
- 参考 scripts/sql-example.json 查看丰富的查询示例
- SQL语句需要用双引号包裹,内部字符串使用单引号
- 如果没有查询到资源,查询资源概览以确认云上资源分布
示例1: 查询特定区域的所有资源
首先确定查询需求,生成SQL语句:
sql
select id, name, provider, type, region_id, properties
from resources
where region_id = cn-north-4
执行查询:
shell
python scripts/queryConfigresourcebysql.py --sql=select id, name, provider, type, properties from resources where region_id = cn-north-4
示例2: 查询IAM用户的密码强度
步骤1: 查询iam.users的Schema了解可用字段
shell
python scripts/queryConfigresourceschema.py --resourcetype=iam.users
步骤2: 基于Schema发现密码相关字段为 pwdstatus 和 pwdstrength
步骤3: 编写SQL查询
sql
select id, name, provider, type, properties.pwdstatus, properties.pwdstrength
from resources
where provider = iam
and type = users
步骤4: 执行查询
shell
python scripts/queryConfigresourcebysql.py --sql=select id, name, provider, type, properties.pwdstatus, properties.pwdstrength from resources where provider = iam and type = users
更多SQL示例:
- - 查询运行中的ECS: SELECT FROM resources WHERE provider=ecs AND type=cloudservers AND properties.status=ACTIVE
- 查询未加密的EVS: SELECT FROM resources WHERE provider=evs AND type=volumes AND NOT properties.encrypted
- 按区域统计资源数: SELECT regionid, count(*) FROM resources GROUP BY regionid
- 更多案例: 请学习 scripts/sql-example.json 中的案例
输出格式:
- - JSON数组,每条记录代表一个匹配的资源
- 包含查询中指定的所有字段
合规规则查询
查询云服务的预置合规规则
获取华为云Config服务的预置合规规则列表,用于资源合规性检查。
命令:
查询特定云服务的合规规则:
shell
python scripts/queryConfigbuiltin_rule.py --keyword=obs
查询所有合规规则(限制返回数量):
shell
python scripts/queryConfigbuiltin_rule.py --limit=10
参数说明:
- - --keyword: 过滤关键字,匹配规则名称或描述中包含该关键字的规则
- --limit: 限制返回结果数量,默认为10
输出格式:
- - JSON数组,每个元素包含规则ID、名称、描述等信息
- 示例:
json
{
name: obs-bucket-https-only,
display_name: OBS桶必须使用HTTPS,
description: 检查OBS桶是否强制使用HTTPS协议访问
}
使用场景:
- - 了解可用的合规规则
- 选择合适的规则进行合规性检查
- 制定资源合规策略
华为云场景知识
以下为华为云云服务的场景化知识,在分析资源的安全配置时,需要考虑以下信息:
VPC默认安全组
VPC默认安全组(名称为default)为系统内置资源,不可删除。为提升安全性,将所有出方向、入方向的安全组规则停用或改为Deny的操作权限。
AK/SK安全配置:
华为云的Access Key(AK)为20位随机字符串(例如HPUAA