# zongtui-webcrawler
众推,开源版的今日头条!
基于hadoop思维的分布式网络爬虫。
目前已经把webmagic的基础部分加入到工程中,下一步会根据这个继续修改,变成完全分布式的架构。
想参与加入的可以入群:众推 194338168
没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
收起资源包目录
基于hadoop思维的分布式网络爬虫。.zip (160个子文件)
.classpath 1KB
.classpath 996B
.classpath 996B
.classpath 996B
.classpath 996B
.classpath 996B
.classpath 996B
.gitignore 189B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
.gitignore 9B
Spider.java 21KB
XTokenQueue.java 17KB
XPathParser.java 16KB
Site.java 13KB
ProxyPool.java 11KB
HttpClientDownloader.java 10KB
Page.java 6KB
ElementAdaptor.java 6KB
UrlUtils.java 5KB
Proxy.java 5KB
ElementOperator.java 5KB
HtmlNode.java 4KB
DocumentAdaptor.java 4KB
HttpClientGenerator.java 4KB
StructuralEvaluator.java 4KB
ProxyUtils.java 4KB
Selectable.java 3KB
SmartContentSelector.java 3KB
Request.java 3KB
AttributeAdaptor.java 3KB
RegexSelector.java 3KB
AbstractSelectable.java 3KB
CssSelector.java 3KB
CountableThreadPool.java 3KB
CombiningEvaluator.java 3KB
HtmlDocumentType.java 3KB
Html.java 3KB
PriorityScheduler.java 2KB
NodeAdaptor.java 2KB
PlainText.java 2KB
FilePipeline.java 2KB
NodeAdaptors.java 2KB
BloomFilterDuplicateRemover.java 2KB
BaiduBaikePageProcessor.java 2KB
ResultItems.java 2KB
AbstractDownloader.java 2KB
NamedNodeMapAdaptor.java 2KB
AndSelector.java 2KB
DuplicateRemovedScheduler.java 2KB
Json.java 2KB
JsonPathSelector.java 2KB
DefaultXElements.java 1KB
GithubRepoPageProcessor.java 1KB
XpathSelector.java 1KB
OschinaBlogPageProcessor.java 1KB
SimplePageProcessor.java 1KB
CombiningDefaultXElements.java 1KB
Xsoup.java 1KB
BaseElementSelector.java 1KB
OrSelector.java 1KB
Selectors.java 1KB
DefaultXPathEvaluator.java 1KB
CombingXPathEvaluator.java 1KB
FilePersistentBase.java 1KB
ReplaceSelector.java 1KB
XEvaluators.java 1KB
QueueScheduler.java 1KB
Downloader.java 975B
DefaultXElement.java 940B
HashSetDuplicateRemover.java 907B
IndexController.java 879B
PageProcessor.java 860B
AttributesAdaptor.java 834B
HttpConstant.java 800B
DuplicateRemover.java 767B
Scheduler.java 720B
ConsolePipeline.java 701B
ElementSelector.java 678B
ResultItemsCollectorPipeline.java 671B
AppTest.java 660B
AppTest.java 659B
AppTest.java 657B
DummyTypeInfo.java 657B
AppTest.java 655B
AppTest.java 654B
AppTest.java 650B
Pipeline.java 627B
Selector.java 613B
NodeListAdaptor.java 607B
RegexResult.java 606B
Task.java 505B
Sourceer.java 504B
CollectorPipeline.java 472B
MonitorableScheduler.java 394B
NumberUtils.java 356B
共 160 条
- 1
- 2
资源评论
不走小道
- 粉丝: 3237
- 资源: 5112
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功