golang tumblr爬虫
在sites.txt中添加指定tumblr主页,比如http://allthingseurope.tumblr.com/只需要添加allthingseurope
多条分行添加
代理,默认使用本地代理127.0.0.1:1080端口代理。如需修改请将common/proxyHttp.go中的127.0.0.1:1080改成自己代理。
目前已完成图片和视频的下载
采用channel控制并发,goroutine有点少,下载速度一般
代码进一步优化,修复空指针问题
已采用waitGroup控制并发,最大程度开启goroutine,下载速度飞快,但一般情况下会将机器直接卡死......
评论0
最新资源