transmogrify.webcrawler:用于抓取 html 的 transmogrifier 源蓝图

爬行 - 要导入的 html transmogrify.webcrawler 将抓取 html 以提取页面和文件作为 transmogrifier 管道的源。 transmogrify.webcrawler.typerecognitor 有助于根据抓取的 mimetype 设置“_type”。 transmogrify.webcrawler.cache 通过在本地存储项目来帮助加速爬行并减少内存使用。 这些蓝图旨在与 funnelweb 管道一起使用，但可以独立使用。