memorious:用于文档和结构化数据的轻量级网页抓取工具包

令人难忘 孤独而清醒的旁观者，多形式、即时且几乎无法忍受的精确世界。 ——，豪尔赫路易斯博尔赫斯 memorious是一个轻量级的网页抓取工具包。 它支持收集结构化或非结构化数据的抓取工具。 这包括以下用例： 使爬虫模块化和可重复使用的简单任务 提供实用功能来执行常见任务，例如数据存储、HTTP 会话管理 将爬虫与 Aleph 和 FollowTheMoney 生态系统集成 尽可能让开 设计 在编写爬虫程序时，您经常需要通过索引页面进行分页，然后为每个结果下载一个 HTML 页面，最后解析该页面并在数据库中插入或更新记录。 memorious通过管理一组crawlers memorious处理这个问题，每个crawlers可以由多个stages组成。 每个stage都使用 Python 函数实现，可以在不同的crawlers重复使用。 编写 Memorious 爬虫的基本步骤：