隐身浏览器自动化

结合多层反检测技术的静默、不可检测的网页自动化。

快速登录工作流程（重要）

当用户要求登录任何网站时：

1. 1. 以有头模式打开（可见浏览器用于手动登录）：

bash python scripts/stealth_session.py -u https://target.com/login -s sitename --headed

1. 2. 用户手动登录可见浏览器

1. 3. 确认登录后保存会话：

bash python scripts/stealth_session.py -u https://target.com -s sitename --headed --save

1. 4. 后续使用 - 加载已保存的会话（无头模式）：

bash python scripts/stealth_session.py -u https://target.com -s sitename --load

会话存储在：~/.clawdbot/browser-sessions/.json

执行策略（重要）

1. 先静默后显示

• - 优先使用 headless 模式静默尝试
• 如果失败或需要验证码，再切换到 headed 显示模式
• 避免打扰用户操作

2. 断点续传

长任务使用 task_runner.py 管理状态： python from task_runner import TaskRunner task = TaskRunner(my_task) task.set_total(100) for i in items: if task.is_completed(i): continue # 跳过已完成 # 处理... task.mark_completed(i) task.finish()

3. 超时处理

• - 默认单页超时：30秒
• 长任务每50项保存一次进度
• 失败自动重试3次

4. 记录尝试

所有登录尝试记录在：~/.clawdbot/browser-sessions/attempts.json

架构

┌─────────────────────────────────────────────────────┐
│ 隐身浏览器 │
├─────────────────────────────────────────────────────┤
│ 第一层：反检测引擎 │
│ - puppeteer-extra-plugin-stealth │
│ - 浏览器指纹伪造 │
│ - WebGL/Canvas/Audio 指纹掩码 │
├─────────────────────────────────────────────────────┤
│ 第二层：挑战绕过 │
│ - Cloudflare Turnstile/JS 挑战 │
│ - hCaptcha / reCAPTCHA 集成 │
│ - 2Captcha / Anti-Captcha API │
├─────────────────────────────────────────────────────┤
│ 第三层：会话持久化 │
│ - Cookie 存储（JSON/SQLite） │
│ - localStorage 同步 │
│ - 多配置文件管理 │
├─────────────────────────────────────────────────────┤
│ 第四层：代理与身份 │
│ - 轮换住宅代理 │
│ - User-Agent 轮换 │
│ - 时区/区域设置伪造 │
└─────────────────────────────────────────────────────┘

安装设置

安装核心依赖

bash
npm install -g puppeteer-extra puppeteer-extra-plugin-stealth
npm install -g playwright
pip install undetected-chromedriver DrissionPage

可选：验证码求解器

将 API 密钥存储在 ~/.clawdbot/secrets/captcha.json：
json
{
2captcha: YOUR2CAPTCHAKEY,
anticaptcha: YOURANTICAPTCHAKEY,
capsolver: YOURCAPSOLVERKEY
}

可选：代理配置

存储在 ~/.clawdbot/secrets/proxies.json：
json
{
rotating: http://user:pass@proxy.provider.com:port,
residential: [socks5://ip1:port, socks5://ip2:port],
datacenter: http://dc-proxy:port
}

快速开始

1. 隐身会话（Python - 推荐）

python

scripts/stealth_session.py - 用于最大兼容性

import undetected_chromedriver as uc
from DrissionPage import ChromiumPage

选项 A：undetected-chromedriver（基于 Selenium）

driver = uc.Chrome(headless=True, use_subprocess=True) driver.get(https://nowsecure.nl) # 测试反检测

选项 B：DrissionPage（更快，原生 Python）

page = ChromiumPage() page.get(https://cloudflare-protected-site.com)

2. 隐身会话（Node.js）

javascript
// scripts/stealth.mjs
import puppeteer from puppeteer-extra;
import StealthPlugin from puppeteer-extra-plugin-stealth;

puppeteer.use(StealthPlugin());

const browser = await puppeteer.launch({
headless: new,
args: [
--disable-blink-features=AutomationControlled,
--disable-dev-shm-usage,
--no-sandbox
]
});

const page = await browser.newPage();
await page.goto(https://bot.sannysoft.com); // 验证隐身效果

核心操作

打开隐身页面

bash

使用带有隐身配置文件的 agent-browser

agent-browser --profile ~/.stealth-profile open https://target.com

或通过脚本

python scripts/stealth_open.py --url https://target.com --headless

绕过 Cloudflare

python

使用 DrissionPage 自动绕过 CF

from DrissionPage import ChromiumPage

page = ChromiumPage()
page.get(https://cloudflare-site.com)

DrissionPage 自动等待 CF 挑战完成

如需手动等待

page.wait.ele_displayed(main-content, timeout=30)

对于顽固的 Cloudflare 网站，使用 FlareSolverr：

bash

启动 FlareSolverr 容器

docker run -d --name flaresolverr -p 8191:8191 ghcr.io/flaresolverr/flaresolverr

请求清除

curl -X POST http://localhost:8191/v1 \ -H Content-Type: application/json \ -d {cmd:request.get,url:https://cf-protected.com,maxTimeout:60000}

解决验证码

python

scripts/solve_captcha.py

import requests
import json
import time

def solverecaptcha(sitekey, pageurl, apikey):
通过 2Captcha 解决 reCAPTCHA v2/v3
# 提交任务
resp = requests.post(http://2captcha.com/in.php, data={
key: api_key,
method: userrecaptcha,
googlekey: site_key,
pageurl: page_url,
json: 1
}).json()

task_id = resp[request]

# 轮询结果
for _ in range(60):
time.sleep(3)
result = requests.get(fhttp://2captcha.com/res.php?key={apikey}&action=get&id={taskid}&json=1).json()
if result[status] == 1:
return result[request] # Token
return None

def solvehcaptcha(sitekey, pageurl, apikey):
通过 Anti-Captcha 解决 hCaptcha
resp = requests.post(https://api.anti-captcha.com/createTask, json={
clientKey: api_key,
task: {
type: HCaptchaTaskProxyless,
websiteURL: page_url,
websiteKey: site_key
}
}).json()

task_id = resp[taskId]

for _ in range(60):
time.sleep(3)
result = requests.post(https://api.anti-captcha.com/getTaskResult, json={
clientKey: api_key,
taskId: task_id
}).json()
if result[status] == ready:
return result[solution][gRecaptchaResponse]
return None

持久化会话

python

scripts/session_manager.py

import json
import os
from pathlib import Path

SESSIONS_DIR = Path.home() / .clawdbot / browser-sessions
SESSIONSDIR.mkdir(parents=True, existok=True)

def savecookies(driver, sessionname):
将 Cookie 保存到 JSON
cookies = driver.get_cookies()
path = SESSIONSDIR / f{sessionname}_cookies.json
path.write_text(json.dumps(cookies, indent=2))
return path

def loadcookies(driver, sessionname):
从保存的会话加载 Cookie
path = SESSIONSDIR / f{sessionname}_c