attercop:使用 core.async 受 Scrapy 启发的网页抓取库

特警 使用 core.async 受 Scrapy 启发的网页抓取库。 警告 我开始这个项目主要是作为学习 core.async 的练习。 我以前使用过scrapy，但这是一个大项目，而attercop 主要只涵盖了我自己使用过的scrapy 的那些功能。 不推荐用于生产用途。 莱宁根 [attercop " 0.1.0-SNAPSHOT " ] 依赖关系 一个伪例子 ( let [config { :name " test-spider " :allowed-domains #{ " localhost " " 127.0.0.1 " } :start-urls [ " http://127.0.0.1:5000/ " ] :rules [[ #"[a-zA-Z]+.html$" { :scrape (