shovel:wget 为多线程网页抓取提供动力的 Go 程序

铲 wget 为多线程网页抓取提供动力的 Go 程序 ###跑步铲： 安装 golang (osx)： brew install hg brew install go 拉回购： git clone https://github.com/phact/shovel.git 跑铲： go run shovel.go 配置： 你的 URL 列表在 data/urls.txt 中 默认情况下，我们一次运行 100 个 wget 线程。 更改 maxFutures int 以更改并发作业的数量。