如何使用Node.js爬取任意网页资源并输出PDF文件到本地

在本文中，我们将探讨如何使用Node.js和Puppeteer库来爬取网页资源并将其转换为PDF文件。我们需要了解Puppeteer是什么。Puppeteer是由Google开发的一个Node库，它允许我们通过DevTools协议远程控制无头Chrome或Chromium浏览器，从而实现自动化测试、页面截图、网页PDF生成等功能。 要开始使用Puppeteer，首先确保你的Node.js版本在7.6以上，因为Puppeteer需要支持async/await语法。同时，由于Puppeteer依赖于Chrome或Chromium，你需要在系统中安装对应版本的浏览器。Puppeteer会自动下载与之兼容的浏览器版本，但你也可以手动指定。 下面是一个简单的Puppeteer示例，展示如何爬取京东首页的图片URL： ```javascript const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch(); const page = await browser.newPage(); await page.goto('https://www.jd.com/'); const imgUrls = await page.evaluate(() => { const imgs = document.querySelectorAll('img'); return Array.from(imgs).map(img => img.src); }); console.log(imgUrls); await browser.close(); })(); ``` 在这个例子中，我们首先引入Puppeteer库，然后启动一个新的浏览器实例。接着，我们打开京东首页，并使用`page.evaluate()`执行JavaScript代码在浏览器上下文中，获取所有图片的`src`属性。我们关闭浏览器实例。 如果你想要爬取页面中的其他元素，比如`<a>`标签，你可以修改`page.evaluate()`中的代码，像这样获取所有类别链接的`title`属性： ```javascript const hrefTitles = await page.evaluate(() => { const aNodes = document.querySelectorAll('.cate_menu_lk'); return Array.from(aNodes).map(node => node.title); }); console.log(hrefTitles); ``` 现在，我们讨论如何将爬取的网页内容转换为PDF文件。Puppeteer提供了`page.pdf()`方法，可以方便地将当前页面导出为PDF： ```javascript await page.pdf({ path: 'output.pdf', // 输出的PDF文件路径 format: 'A4', // 页面大小，可以是'A3', 'A4', 'A5', 'Legal', 'Letter', 'Tabloid'等 margin: { top: '1cm', bottom: '1cm', left: '1cm', right: '1cm' }, // 边距设置 printBackground: true, // 是否打印背景颜色和图像 landscape: false, // 是否使用横向布局 }); ``` 将这段代码添加到你的Puppeteer脚本中，就可以将爬取的页面保存为PDF文件了。记得根据实际需求调整PDF的设置参数。 总结一下，使用Node.js和Puppeteer可以轻松实现网页爬取和PDF生成。Puppeteer的强大之处在于它可以模拟用户交互，执行复杂的页面操作，如点击按钮、填写表单等。通过熟练掌握Puppeteer的API，你可以创建一个功能强大的Web抓取和自动化工具。同时，确保遵循网站的robots.txt规则和法律法规，以保持良好的网络爬虫实践。