数据治理技能

数据治理（Data Governance）是指对数据资产管理行使权力和控制的活动集合。

⚠️ 安全警示

使用前请阅读以下安全建议：

1. 1. 仅使用环境变量 - 不写入配置文件
2. 使用最小权限账户 - 生产环境使用只读用户
3. 勿在命令行明文传密码 - 使用环境变量
4. 敏感数据脱敏 - 分享报告前移除真实数据

首次配置

1. 安装依赖

bash

创建虚拟环境（推荐）

python3 -m venv venv
source venv/bin/activate

安装依赖

pip install -r requirements.txt

2. 配置环境变量

当前会话有效：
bash

MySQL

export DB_HOST=localhost
export DB_PORT=3306
export DBUSER=youruser
export DBPASS=yourpassword
export DBNAME=yourdatabase

PostgreSQL

export DB_HOST=localhost export DB_PORT=5432 export DBUSER=youruser export DBPASS=yourpassword export DBNAME=yourdatabase

SQLite（无需凭证）

export DB_PATH=/path/to/your/database.db

使用前导入：
bash

每次使用前source环境变量文件（不推荐写入~/.bashrc）

source ~/db-env.sh
python scripts/dataqualitycheck.py --table users --db-type mysql

3. 运行脚本

bash

数据质量检查（必须指定 --db-type）

export DBHOST=localhost DBUSER=admin DBPASS=xxx DBNAME=mydb
python scripts/dataqualitycheck.py --table users --db-type mysql

元数据生成

python scripts/generate_metadata.py --source users --db-type postgresql

数据血缘分析（可选加数据库）

python scripts/lineage_analysis.py --table orders --db-type sqlite

合规检查

python scripts/compliance_check.py --table users --db-type mysql

依赖

依赖	版本	用途
sqlalchemy	==2.0.25	数据库抽象层
pymysql

==1.1.0 | MySQL 连接 | | psycopg2-binary | ==2.9.9 | PostgreSQL 连接 | | pandas | ==2.1.4 | 数据处理 |

详见 requirements.txt

何时使用

当用户提及以下内容时使用此 skill：

• - 数据质量、数据标准、数据血缘
• 元数据管理、数据目录、数据资产
• 数据合规、隐私保护、数据安全
• 数据治理框架、数据资产管理

核心能力

1. 数据质量评估

评估数据的完整性、准确性、一致性、时效性：

检查维度：

• - 缺失值检测
• 重复记录检测
• 格式校验
• 范围校验
• 业务规则验证

2. 元数据管理

帮助构建和管理元数据：

技术元数据： 表结构、字段类型、数据来源
业务元数据： 字段定义、业务规则、所有者
运营元数据： 更新频率、ETL信息、访问统计

3. 数据血缘追踪

追踪数据的来龙去脉：

来源追溯： 数据从哪来
转换追踪： 经过哪些处理
下游影响： 谁在使用这些数据

4. 数据标准

制定和执行数据标准：

命名规范： 表名、字段名命名规则
类型规范： 数据类型、格式标准
编码规范： 枚举值、代码表

输出格式

完成数据治理任务后，输出结构化报告：

markdown

数据治理报告

数据质量

• - 完整性：XX%
• 准确率：XX%
• 发现问题：N个

元数据

• - 表数量：N
• 字段数量：N

建议

1. 1. ...
2. ...

常见场景

场景	输出
数据质量评估	质量报告 + 问题清单
元数据梳理

数据字典 + 关系图 | | 血缘分析 | 链路图 + 影响分析 | | 合规检查 | 合规报告 + 风险点 |