thal：Puppeteer和Chrome Headless的网页抓取入门

Puppeteer和Chrome无头网页抓取入门 这是的链接 这是感谢 是Google Chrome小组针对Chrome Headless推出的官方工具。 自Chrome Headless正式发布以来，其维护人员已停用许多用于自动化测试的行业标准库。 包括PhantomJS 。 由于缺少维护者，用于Firefox的Selenium IDE已停产。 可以肯定的是，Chrome是Web浏览的市场领导者， Chrome Headless将成为Web应用程序自动测试的行业领导者。 因此，我整理了这份入门指南，了解如何开始使用Chrome Headless中的Web Scraping 。 TL; DR 在本指南中，我们将抓取GitHub，登录GitHub并使用Chrome Headless ， Puppeteer ， Node和MongoDB提取并保存用户的电子邮件。 不用担心GitHub拥有速率限制机制来控制您，但这篇文章将为您提供有关使用Chrome Headless和Node进行报废的好主意。 此外，由于Puppeteer仍在开发中并且API易于更改，因此请始终与保持更新。 入门 在