go-spider:一个灵活的蜘蛛以及一个通用的任务运行器

蜘蛛侠 一个灵活的蜘蛛以及一个通用的任务运行器。 Go 包依赖 见 Godeps/Godeps.json 用法 工作流程 package main import ( // Import the main package "github.com/ddliu/go-spider" // Import a lot of useful pipes "github.com/ddliu/go-spider/pipes" ) func main () { // Create a spider s := spider . NewSpider () // Config it s . Concurrency = 3 // Combine pipes together s . Pipe ( pipes . Pip