闲社

标题: 【教程】用Puppeteer+Node.js零成本打造自动化数据采集机器人 [打印本页]
作者: kai_va    时间: 昨天 23:40
标题: 【教程】用Puppeteer+Node.js零成本打造自动化数据采集机器人
前言

最近GitHub Trending上Puppeteer项目热度持续走高（94k+ stars），这个项目是Google官方出品的Node.js库，可以用代码控制Chrome/Firefox浏览器。今天手把手教你用它做一个自动化数据采集机器人，无需购买任何API服务，完全零成本。

一、前置条件



二、环境搭建
  2. # 创建项目目录
  3. mkdir puppeteer-bot && cd puppeteer-bot
  5. # 初始化项目
  6. npm init -y
  8. # 安装Puppeteer
  9. npm install puppeteer
复制代码

安装完成后，Puppeteer会自动下载对应版本的Chromium浏览器，无需手动配置。

三、核心代码实战

3.1 基础版：抓取网页标题
  2. const puppeteer = require('puppeteer');
  4. (async () => {
  5.   // 启动浏览器
  6.   const browser = await puppeteer.launch({
  7.     headless: true  // 无头模式，不显示界面
  8.   });
  9.   
  10.   const page = await browser.newPage();
  11.   
  12.   // 访问目标页面
  13.   await page.goto('https://github.com/trending');
  14.   
  15.   // 等待内容加载
  16.   await page.waitForSelector('article h2');
  17.   
  18.   // 提取数据
  19.   const titles = await page.evaluate(() => {
  20.     const items = document.querySelectorAll('article h2');
  21.     return Array.from(items).map(item => item.innerText.trim());
  22.   });
  23.   
  24.   console.log('今日热门项目：');
  25.   titles.forEach((title, index) => {
  26.     console.log(`${index + 1}. ${title}`);
  27.   });
  28.   
  29.   await browser.close();
  30. })();
复制代码

3.2 进阶版：带登录状态的采集

很多网站需要登录才能看到完整内容，Puppeteer可以轻松处理：
  2. const puppeteer = require('puppeteer');
  4. (async () => {
  5.   const browser = await puppeteer.launch({ headless: false });
  6.   const page = await browser.newPage();
  7.   
  8.   // 设置视窗大小
  9.   await page.setViewport({ width: 1280, height: 800 });
  10.   
  11.   // 访问登录页
  12.   await page.goto('https://example.com/login');
  13.   
  14.   // 填写表单
  15.   await page.type('#username', 'your_username');
  16.   await page.type('#password', 'your_password');
  17.   
  18.   // 点击登录按钮
  19.   await page.click('#login-btn');
  20.   
  21.   // 等待跳转
  22.   await page.waitForNavigation();
  23.   
  24.   // 保存Cookie供后续使用
  25.   const cookies = await page.cookies();
  26.   require('fs').writeFileSync('cookies.json', JSON.stringify(cookies));
  27.   
  28.   console.log('登录成功，Cookie已保存');
  29.   
  30.   await browser.close();
  31. })();
复制代码

3.3 高级版：定时任务+数据存储
  2. const puppeteer = require('puppeteer');
  3. const fs = require('fs');
  5. async function scrapeData() {
  6.   const browser = await puppeteer.launch({ headless: true });
  7.   const page = await browser.newPage();
  8.   
  9.   // 加载之前保存的Cookie
  10.   if (fs.existsSync('cookies.json')) {
  11.     const cookies = JSON.parse(fs.readFileSync('cookies.json'));
  12.     await page.setCookie(...cookies);
  13.   }
  14.   
  15.   await page.goto('https://example.com/data-page');
  16.   
  17.   // 提取结构化数据
  18.   const data = await page.evaluate(() => {
  19.     const rows = document.querySelectorAll('.data-row');
  20.     return Array.from(rows).map(row => ({
  21.       title: row.querySelector('.title')?.innerText || '',
  22.       price: row.querySelector('.price')?.innerText || '',
  23.       link: row.querySelector('a')?.href || ''
  24.     }));
  25.   });
  26.   
  27.   // 保存到JSON文件
  28.   const timestamp = new Date().toISOString().split('T')[0];
  29.   fs.writeFileSync(
  30.     `data-${timestamp}.json`,
  31.     JSON.stringify(data, null, 2)
  32.   );
  33.   
  34.   console.log(`成功采集 ${data.length} 条数据`);
  35.   
  36.   await browser.close();
  37. }
  39. // 立即执行一次
  40. scrapeData();
  42. // 每6小时执行一次
  43. setInterval(scrapeData, 6 * 60 * 60 * 1000);
复制代码

四、防检测技巧

很多网站有反爬虫机制，以下是绕过方法：


  2. const browser = await puppeteer.launch({
  3.   headless: true,
  4.   args: [
  5.     '--disable-blink-features=AutomationControlled',
  6.     '--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
  7.   ]
  8. });
  10. // 随机延迟函数
  11. const randomDelay = (min, max) =>
  12.   new Promise(resolve => setTimeout(resolve, Math.random() * (max - min) + min));
  14. await randomDelay(1000, 3000);  // 等待1-3秒
复制代码

五、常见问题

Q1: 启动报错找不到Chromium？
A: 设置环境变量或手动指定路径：
  2. const browser = await puppeteer.launch({
  3.   executablePath: '/usr/bin/chromium-browser'
  4. });
复制代码

Q2: 页面加载超时？
A: 增加超时时间或等待特定元素：
  2. await page.goto(url, { waitUntil: 'networkidle2', timeout: 60000 });
复制代码

Q3: 中文乱码？
A: 确保页面编码正确，必要时手动指定：
  2. await page.setExtraHTTPHeaders({
  3.   'Accept-Language': 'zh-CN,zh;q=0.9'
  4. });
复制代码

Q4: 内存占用过高？
A: 及时关闭不用的页面，使用page.close()代替browser.close()进行多页面操作。

六、总结

Puppeteer是一个功能强大的自动化工具，本文介绍了从基础到进阶的使用方法：



相比付费API，Puppeteer的优势在于完全免费、灵活性高、能处理复杂交互。无论是数据采集、自动化测试还是网页截图，它都能胜任。

扩展阅读：


有问题欢迎在楼下交流！



欢迎光临 闲社 (https://www.xianshe.com/) Powered by Discuz! X5.0