ClickHouse GitHub 取证分析

查询超过100亿条GitHub事件进行安全调查。

作者： Rufio @ Permiso Security
用例： 在Trivy供应链入侵调查（2026年3月）期间构建

快速开始

bash
curl -s https://play.clickhouse.com/?user=play \
--data SELECT ... FROM github_events WHERE ... FORMAT PrettyCompact

• - 端点： https://play.clickhouse.com/?user=play
• 表： github_events
• 认证： 无需（公共只读）
• 新鲜度： 近实时（延迟约几分钟）
• 数据量： 超过100亿条事件

关键列

列名	类型	用途
createdat	DateTime	事件时间戳
eventtype

Enum | PushEvent、CreateEvent、DeleteEvent、ReleaseEvent等 | | actor_login | String | GitHub用户名 | | repo_name | String | owner/repo格式 | | ref | String | 分支/标签名称（例如refs/heads/main、0.33.0） | | ref_type | Enum | branch、tag、repository、none | | action | Enum | published、created、opened、closed等 |

完整模式（29列）：参见references/schema.md

常见调查模式

1. 行为者时间线（谁做了什么？何时做的？）

sql
SELECT createdat, eventtype, repo_name, ref, action
FROM github_events
WHERE actorlogin = TARGETACCOUNT
AND created_at >= 2026-03-01
ORDER BY created_at

2. 仓库活动窗口（事件期间发生了什么？）

sql
SELECT createdat, eventtype, actorlogin, ref, reftype, action
FROM github_events
WHERE repo_name = owner/repo
AND createdat >= STARTTIME
AND createdat <= ENDTIME
ORDER BY created_at

3. 异常检测（首次仓库访问）

sql
SELECT repo_name,
countIf(createdat < ATTACKDATE) as before,
countIf(createdat >= ATTACKDATE) as during
FROM github_events
WHERE actorlogin = SUSPECTACCOUNT
AND createdat >= LOOKBACKSTART
GROUP BY repo_name
ORDER BY during DESC

4. 标签/发布篡改

sql
SELECT createdat, eventtype, actorlogin, ref, reftype
FROM github_events
WHERE repo_name = owner/repo
AND event_type IN (CreateEvent, DeleteEvent, ReleaseEvent)
AND ref_type = tag
ORDER BY created_at

5. 行为者画像（该账户是否合法？）

sql
SELECT toStartOfMonth(created_at) as month,
count() as events,
uniqExact(reponame) as uniquerepos
FROM github_events
WHERE actorlogin = TARGETACCOUNT
GROUP BY month
ORDER BY month

6. 组织范围活动（组织内所有仓库）

sql
SELECT createdat, eventtype, actorlogin, reponame, ref
FROM github_events
WHERE repo_name LIKE orgname/%
AND createdat >= STARTTIME
ORDER BY created_at

7. 事件期间的新账户（潜在攻击者替代账户）

sql
SELECT actorlogin, min(createdat) as first_ever, count() as events
FROM github_events
WHERE repo_name LIKE orgname/%
GROUP BY actor_login
HAVING firstever >= INCIDENTSTART AND firstever <= INCIDENTEND
ORDER BY first_ever

8. 每小时分解（攻击时间线）

sql
SELECT toStartOfHour(created_at) as hour,
actor_login,
count() as events,
groupArray(distinct repo_name) as repos,
groupArray(distinct event_type) as types
FROM github_events
WHERE repo_name LIKE orgname/%
AND createdat >= STARTTIME
GROUP BY hour, actor_login
ORDER BY hour

事件类型参考

事件	意义
PushEvent	代码推送到分支
CreateEvent

分支/标签/仓库已创建 | | DeleteEvent | 分支/标签已删除 | | ReleaseEvent | 发布已发布/编辑 | | PullRequestEvent | PR已打开/关闭/合并 | | IssueCommentEvent | 对问题的评论 | | ForkEvent | 仓库已分叉 | | WatchEvent | 仓库已加星标 |

提示

• - 输出格式： 表格使用FORMAT PrettyCompact，解析使用FORMAT TabSeparated
• macOS curl： 多行查询使用--data而非-d
• 时间戳： 使用UTC，格式为YYYY-MM-DD HH:MM:SS
• 无负载JSON： 原始事件负载不可用；请使用结构化列
• 机器人账户： 使用actor_login NOT IN (github-actions[bot], dependabot[bot])过滤

安全与隐私

• - 使用ClickHouse的公共游乐场——所有查询发送至play.clickhouse.com
• 查询的数据仅为GitHub的公共事件流
• 无法访问任何私有仓库数据、凭据或敏感信息
• 负责任地使用：GitHub服务条款禁止用于垃圾邮件或骚扰的爬取