headcrab:用于将网页转换为结构化数据的网络抓取工具包

头蟹 锁定; 吞食。 Headcrab是一个网页抓取工具包，用于将网页转换为结构化数据。 它提供了简单但有用的功能，例如使用 CSS 选择器的可重用模板（称为转换器）、速率限制、路由和自动分页，所有这些都减少了大量的样板文件和麻烦。 我的目标是涵盖许多常见模式，因此如果您有任何功能建议，请通过提交问题或通过电子邮件与我联系。 刮擦时要尊重。 限制您的请求（只需使用interval选项）并缓存您的数据。 如果您要大量抓取，请先联系网站所有者或管理员。 如果 API 可用，请不要刮擦，也不要作恶。 安装 Headcrab 可以在或使用，并使用安装。 $ npm install --save headcrab 如果您想使用 CLI，您也应该全局保存它。 $ npm install -g headcrab 用法 首先将其包含在您的代码中。 var headcrab = requir