【教程】用Puppeteer+Node.js零成本打造自动化数据采集机器人

前言

最近GitHub Trending上Puppeteer项目热度持续走高（94k+ stars），这个项目是Google官方出品的Node.js库，可以用代码控制Chrome/Firefox浏览器。今天手把手教你用它做一个自动化数据采集机器人，无需购买任何API服务，完全零成本。

一、前置条件

• 已安装Node.js（建议v18+）
  
• 基础JavaScript知识
  
• 一台能联网的电脑（Windows/Mac/Linux均可）
  

二、环境搭建

2. # 创建项目目录
3. mkdir puppeteer-bot && cd puppeteer-bot
5. # 初始化项目
6. npm init -y
8. # 安装Puppeteer
9. npm install puppeteer

复制代码

安装完成后，Puppeteer会自动下载对应版本的Chromium浏览器，无需手动配置。

三、核心代码实战

3.1 基础版：抓取网页标题

2. const puppeteer = require('puppeteer');
4. (async () => {
5.   // 启动浏览器
6.   const browser = await puppeteer.launch({
7.     headless: true  // 无头模式，不显示界面
8.   });
9.   
10.   const page = await browser.newPage();
11.   
12.   // 访问目标页面
13.   await page.goto('https://github.com/trending');
14.   
15.   // 等待内容加载
16.   await page.waitForSelector('article h2');
17.   
18.   // 提取数据
19.   const titles = await page.evaluate(() => {
20.     const items = document.querySelectorAll('article h2');
21.     return Array.from(items).map(item => item.innerText.trim());
22.   });
23.   
24.   console.log('今日热门项目：');
25.   titles.forEach((title, index) => {
26.     console.log(`${index + 1}. ${title}`);
27.   });
28.   
29.   await browser.close();
30. })();

复制代码

3.2 进阶版：带登录状态的采集

很多网站需要登录才能看到完整内容，Puppeteer可以轻松处理：

2. const puppeteer = require('puppeteer');
4. (async () => {
5.   const browser = await puppeteer.launch({ headless: false });
6.   const page = await browser.newPage();
7.   
8.   // 设置视窗大小
9.   await page.setViewport({ width: 1280, height: 800 });
10.   
11.   // 访问登录页
12.   await page.goto('https://example.com/login');
13.   
14.   // 填写表单
15.   await page.type('#username', 'your_username');
16.   await page.type('#password', 'your_password');
17.   
18.   // 点击登录按钮
19.   await page.click('#login-btn');
20.   
21.   // 等待跳转
22.   await page.waitForNavigation();
23.   
24.   // 保存Cookie供后续使用
25.   const cookies = await page.cookies();
26.   require('fs').writeFileSync('cookies.json', JSON.stringify(cookies));
27.   
28.   console.log('登录成功，Cookie已保存');
29.   
30.   await browser.close();
31. })();

复制代码

3.3 高级版：定时任务+数据存储

2. const puppeteer = require('puppeteer');
3. const fs = require('fs');
5. async function scrapeData() {
6.   const browser = await puppeteer.launch({ headless: true });
7.   const page = await browser.newPage();
8.   
9.   // 加载之前保存的Cookie
10.   if (fs.existsSync('cookies.json')) {
11.     const cookies = JSON.parse(fs.readFileSync('cookies.json'));
12.     await page.setCookie(...cookies);
13.   }
14.   
15.   await page.goto('https://example.com/data-page');
16.   
17.   // 提取结构化数据
18.   const data = await page.evaluate(() => {
19.     const rows = document.querySelectorAll('.data-row');
20.     return Array.from(rows).map(row => ({
21.       title: row.querySelector('.title')?.innerText || '',
22.       price: row.querySelector('.price')?.innerText || '',
23.       link: row.querySelector('a')?.href || ''
24.     }));
25.   });
26.   
27.   // 保存到JSON文件
28.   const timestamp = new Date().toISOString().split('T')[0];
29.   fs.writeFileSync(
30.     `data-${timestamp}.json`,
31.     JSON.stringify(data, null, 2)
32.   );
33.   
34.   console.log(`成功采集 ${data.length} 条数据`);
35.   
36.   await browser.close();
37. }
39. // 立即执行一次
40. scrapeData();
42. // 每6小时执行一次
43. setInterval(scrapeData, 6 * 60 * 60 * 1000);

复制代码

四、防检测技巧

很多网站有反爬虫机制，以下是绕过方法：

• 修改User-Agent：模拟真实浏览器
  
• 随机延迟：操作之间加入随机等待时间
  
• 禁用WebDriver标志：避免被检测为自动化工具
  
• 使用代理IP：防止IP被封禁
  

2. const browser = await puppeteer.launch({
3.   headless: true,
4.   args: [
5.     '--disable-blink-features=AutomationControlled',
6.     '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
7.   ]
8. });
10. // 随机延迟函数
11. const randomDelay = (min, max) =>
12.   new Promise(resolve => setTimeout(resolve, Math.random() * (max - min) + min));
14. await randomDelay(1000, 3000);  // 等待1-3秒

复制代码

五、常见问题

Q1: 启动报错找不到Chromium？
A: 设置环境变量或手动指定路径：

2. const browser = await puppeteer.launch({
3.   executablePath: '/usr/bin/chromium-browser'
4. });

复制代码

Q2: 页面加载超时？
A: 增加超时时间或等待特定元素：

2. await page.goto(url, { waitUntil: 'networkidle2', timeout: 60000 });

复制代码

Q3: 中文乱码？
A: 确保页面编码正确，必要时手动指定：

2. await page.setExtraHTTPHeaders({
3.   'Accept-Language': 'zh-CN,zh;q=0.9'
4. });

复制代码

Q4: 内存占用过高？
A: 及时关闭不用的页面，使用page.close()代替browser.close()进行多页面操作。

六、总结

Puppeteer是一个功能强大的自动化工具，本文介绍了从基础到进阶的使用方法：

• 基础抓取：获取页面内容和标题
  
• 登录处理：保存和复用Cookie
  
• 定时任务：自动化数据采集和存储
  
• 反检测技巧：绕过常见的反爬虫机制
  

相比付费API，Puppeteer的优势在于完全免费、灵活性高、能处理复杂交互。无论是数据采集、自动化测试还是网页截图，它都能胜任。

扩展阅读：

• Puppeteer官方文档：https://pptr.dev/
  
• Playwright（微软出品，支持多浏览器）：https://playwright.dev/
  

有问题欢迎在楼下交流！