没有合适的资源？快使用搜索试试~
我知道了~
文库首页
大数据
Hadoop
java的分布式爬虫
java的分布式爬虫
爬虫
分布式
需积分: 9
8 下载量
88 浏览量
2019-02-01
11:50:21
上传
评论
收藏
61.36MB
ZIP
举报
温馨提示
立即下载
maven构建，可实现分布式爬虫，Habse存储，多线程爬取，redis缓存
资源推荐
资源评论
分布式爬虫
浏览：62
分布式爬虫，实现爬虫的分布式抓取，提高效率
基于Java的分布式爬虫
浏览：141
分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能...
DistributedCrawler:java分布式爬虫，主机和从机控制的机制
浏览：111
java分布式爬虫，主机和从机控制的机制, ConsistentHash分发Url，维持负载均衡 说明 本文使用redis来保存url, 请自己安装redis，否则无法运行爬虫， 目录结构 CrawlerMaster |—— 爬虫主机端，进行url分发， 运行...
基于JAVA的京东商品分布式爬虫系统的设计与实现.pdf
浏览：163
基于JAVA的京东商品分布式爬虫系统的设计与实现.pdf
一个分布式爬虫框架 一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性
浏览：61
一个分布式爬虫框架。一行代码开发一个分布式爬虫，拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性；
基于JAVA的京东商品分布式爬虫系统的设计与实现.zip
浏览：107
基于JAVA的京东商品分布式爬虫系统的设计与实现
分布式网络爬虫关键技术分析与实现.pdf
浏览：31
python爬虫、分布式爬虫简单的几段总结。
hadoop分布式网络爬虫
浏览：109
hadoop分布式网络爬虫的实现， 采用mapreduce和java，能实现深度搜索
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种
浏览：7
基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。要求（Docker） Docker 18.03+ Redis 5.x+ MongoDB 3.6+ Docker Compose 1.24+ (可选，但推荐) 要求（直接部署...
JSpiderCluster:Java + phantomjs 实现的一个分布式爬虫
浏览：186
Java + phantomjs 实现的一个分布式爬虫。 java部分主要进行集群的管理，任务队列的管理和任务分发，支持jar和class热发布。 phantomjs执行实际的抓取任务，抓取逻辑采用js编写，可以方便的导入jquery， 使用jquery...
JavaEE实现分布式爬虫新闻聚合网站 SSM框架实现.zip
浏览：91
JavaEE实现分布式爬虫新闻聚合网站 SSM框架实现.zip
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台
浏览：169
Crawlab 是一个使用 Golang 开发的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架
Python基于Scrapy+Redis分布式爬虫设计+源码案例源码.zip
浏览：4
毕业设计：Python基于Scrapy+Redis分布式爬虫设计+源码案例+Python + Scrapy + redis.zip 该项目是个人毕设项目，答辩评审分达到95分，代码都经过调试测试，确保可以运行！欢迎下载使用，可用于小白学习、进阶。 该...
基于WebMagic开发的完整的分布式爬虫框架
浏览：111
基于WebMagic开发的完整的分布式爬虫框架，该框架特点如下： 1、完全分布式：由管理端（Admin）、调度端（Master）和多个Worker组成，各个组件通过Http协议通信。 2、完全配置化：通过Admin端的页面配置规则就可以...
爬虫电商项目:用scrapy分布式爬虫框架爬取当当商品信息,用selenium模拟登录淘宝和京东收集商.zip
浏览：154
爬虫电商项目:用scrapy分布式爬虫框架爬取当当商品信息,用selenium模拟登录淘宝和京东收集商-ecommerce
Java多线程及分布式爬虫架构原理解析
浏览：18
主要介绍了Java多线程及分布式爬虫架构原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
一款分布式爬虫平台，帮助你更好的管理和开发爬虫 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫
浏览：149
一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫。增加了更多例子。 内置实现了基于redis的调度器。
spider:Java编写的一个简单分布式爬虫
浏览：152
Java编写的一个简单分布式爬虫.支持模板插件化，以xml形式或java编码形式编写。 第一步： 安装java环境与mysql数据库（任务、日志、结果存储） 第二步： 编译代码 第三步： 修改config下的config.ini文件 user、pwd...
项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计
浏览：75
项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术，实现招聘推荐和可视化展示的应用系统。以下是该系统的主要介绍： 数据采集：系统通过各种渠道（如招聘网站、社交媒体等）获取大量的招聘相关数据，包括职位信息、公司信息、求职者信息等。这些数据以结构化或半结构化形式存在
hadoop-3.3.4.tar.gz + winutils 安装环境
浏览：131
【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils ) https://hanshuliang.blog.csdn.net/article/details/132045605 一、下载 Hadoop 二、解压 Hadoop 三、设置 Hadoop 环境变量 四
基于Hadoop的电影影评数据分析
浏览：99
5星 · 资源好评率100%
是大数据课程大作业，基于Hadoop的电影影评数据分析，需要安装Hadoop，了解MapReduce 和HDFS。
基于大数据的音乐推荐系统（适合本科毕设）
浏览：160
主要是用于大家对于大数据的基本处理，适合大学生本科毕设的参考。
基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计（源码下载）
浏览：13
基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计（源码下载） 基于Hadoop+Spark的招聘推荐可视化系统是一种利用Hadoop和Spark等大数据处理技术，实现招聘推荐和可视化展示的应用系统。以下是该系统的主要介绍： 数据采集：系统通过各种渠道（如招聘网站、社交媒体等）获取大量的招聘相关数据，包括职位信息、公司信息、求职者信息等。这些数据以结构化或半结构化形式存在。
适用于hadoop 3.3.5 3.3.6版本的winutils
浏览：45
5星 · 资源好评率100%
winutils文件合集，Hadoop3.3.5以及3.3.6可用 winutils.exe是在windows系统上安装hadoop时所需要的winutils文件，内附多个版本，支持 hadoop-3.3.5 hadoop-3.3.6
数据科学导论实验报告 实验1：常用Linux操作和 Hadoop操作
浏览：98
数据科学导论 实验1：常用Linux操作和 Hadoop操作 1、Linux虚拟机安装和操作 2、Hadoop安装和操作 1）创建Hadoop用户 2）SSH登录权限设置 3）安装Java环境 4）单机安装配置 5）伪分布式安装配置
淘宝用户行为数据集
浏览：179
4星 · 用户满意度95%
3182257条数据，可做推荐系统，数据分析 它包含字段（id, uid,age,gender,item_id, behavior_type, item_category, date, province） //1.浏览、2.收藏、3.加购物车 4.购买 7.统计各省的前十热门关注产品（浏览+收藏+添加购物车+购买总量最多前10的产品） 8.统计各省的前十热门购买产品（销售最多前10的产品） 9.统
中文官方教程_tableau_prep.pdf
浏览：199
5星 · 资源好评率100%
数据分析，数据挖掘，ETL处理工程师等。
hadoop-3.1.3.tar.gz
浏览：200
[免费]hadoop-3.1.3官网的包 你们CSDN上的这些人是有多不要脸，这玩意还要积分，怎么滴，你们写出来的hadoop？
数据中台建设方案.docx
浏览：4
数据中台建设方案，word版本，可以用于各类技术方案编写，投标。
评论
收藏
内容反馈
立即下载
资源评论
资源反馈
评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~
联系上传者
评论
m_target
粉丝: 140
资源:
7
私信
上传资源 快速赚钱
我的内容管理
展开
我的资源
快来上传第一个资源
我的收益
登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏
我的下载
下载帮助
前往需求广场，查看用户热搜
最新资源
自动批量将阿里云盘文件发布成WordPress文章脚本源码（以RiPro主题为例含付费信息下载地址SEO等自动设置）
4_5933705161481392368.mp4
南京大学南园教学楼 7.m4a
网络信息安全从业者面试指南.zip
1111111111111111111
AdobeXD素材APP登录页素材APP界面UI设计XD源文件
驱动总裁离线安装包02
基于STM32F103微控制器设计一个多通道数据采集系统
第1章电子教案23.2.6.pps
dumptask.zsh
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
安全验证
文档复制为VIP权益，开通VIP直接复制
信息提交成功
