# zongtui-webcrawler
众推，开源版的今日头条！
基于hadoop思维的分布式网络爬虫。
目前已经把webmagic的基础部分加入到工程中，下一步会根据这个继续修改，变成完全分布式的架构。
想参与加入的可以入群：众推 194338168
基于hadoop思维的分布式网络爬虫。.zip
版权申诉
83 浏览量
2024-04-08
22:24:19
上传
评论
收藏 158KB ZIP 举报
基于hadoop思维的分布式网络爬虫。.zip （160个子文件） 
.classpath 1KB .classpath 996B .classpath 996B .classpath 996B .classpath 996B .classpath 996B .classpath 996B .gitignore 189B .gitignore 9B .gitignore 9B .gitignore 9B .gitignore 9B .gitignore 9B .gitignore 9B .gitignore 9B Spider.java 21KB XTokenQueue.java 17KB XPathParser.java 16KB Site.java 13KB ProxyPool.java 11KB HttpClientDownloader.java 10KB Page.java 6KB ElementAdaptor.java 6KB UrlUtils.java 5KB Proxy.java 5KB ElementOperator.java 5KB HtmlNode.java 4KB DocumentAdaptor.java 4KB HttpClientGenerator.java 4KB StructuralEvaluator.java 4KB ProxyUtils.java 4KB Selectable.java 3KB SmartContentSelector.java 3KB Request.java 3KB AttributeAdaptor.java 3KB RegexSelector.java 3KB AbstractSelectable.java 3KB CssSelector.java 3KB CountableThreadPool.java 3KB CombiningEvaluator.java 3KB HtmlDocumentType.java 3KB Html.java 3KB PriorityScheduler.java 2KB NodeAdaptor.java 2KB PlainText.java 2KB FilePipeline.java 2KB NodeAdaptors.java 2KB BloomFilterDuplicateRemover.java 2KB BaiduBaikePageProcessor.java 2KB ResultItems.java 2KB AbstractDownloader.java 2KB NamedNodeMapAdaptor.java 2KB AndSelector.java 2KB DuplicateRemovedScheduler.java 2KB Json.java 2KB JsonPathSelector.java 2KB DefaultXElements.java 1KB GithubRepoPageProcessor.java 1KB XpathSelector.java 1KB OschinaBlogPageProcessor.java 1KB SimplePageProcessor.java 1KB CombiningDefaultXElements.java 1KB Xsoup.java 1KB BaseElementSelector.java 1KB OrSelector.java 1KB Selectors.java 1KB DefaultXPathEvaluator.java 1KB CombingXPathEvaluator.java 1KB FilePersistentBase.java 1KB ReplaceSelector.java 1KB XEvaluators.java 1KB QueueScheduler.java 1KB Downloader.java 975B DefaultXElement.java 940B HashSetDuplicateRemover.java 907B IndexController.java 879B PageProcessor.java 860B AttributesAdaptor.java 834B HttpConstant.java 800B DuplicateRemover.java 767B Scheduler.java 720B ConsolePipeline.java 701B ElementSelector.java 678B ResultItemsCollectorPipeline.java 671B AppTest.java 660B AppTest.java 659B AppTest.java 657B DummyTypeInfo.java 657B AppTest.java 655B AppTest.java 654B AppTest.java 650B Pipeline.java 627B Selector.java 613B NodeListAdaptor.java 607B RegexResult.java 606B Task.java 505B Sourceer.java 504B CollectorPipeline.java 472B MonitorableScheduler.java 394B NumberUtils.java 356B共 160 条
- 1
- 2
资源评论
不走小道
- 粉丝: 3237
- 资源: 5112
下载权益
C知道特权
VIP文章
课程特权
VIP享7折，此内容立减5.97元 开通VIP
