论文研究-Hadoop平台的多队列作业调度优化方法研究.pdf


-
对Hadoop平台的作业调度算法进行了研究,提出了支持作业类型区分的多队列调度优化算法。优化算法支持根据节点当前的负载情况分配不同类型的作业,以提高节点的资源利用率;允许作业队列的资源在闲置时被其他作业队列占用;在原作业队列需要时可以被即时回收,即回收过程支持任务抢占;采用共享队列列表和非共享队列列表的逻辑划分来防止乒乓效应。Hadoop平台的性能测试结果表明,优化算法相比系统默认算法在作业调度的执行效率、执行平稳性等方面都有了显著的提升。

-
2019-07-22
486KB
论文研究-Hadoop平台下计算能力调度算法的改进与实现.pdf
2019-09-07在计算能力调度算法中没有全面考虑各资源特征的分配是否满足作业多样的服务要求,提出一种基于优先级的计算能力加权调度算法,根据作业的优先级以及提交时间等因素来计算作业的权重。依据作业的权重对作业队列进行排
693KB
论文研究-Hadoop平台下基于截止时间限制的动态调度算法的研究.pdf
2019-07-22为了满足有截止时间限制的MapReduce作业的需求,提出一种基于截止时间限制的动态调度算法(DCDS)。该算法实时监控作业运行状况,并对作业运行时间进行动态估算,从而确定作业优先级;对于时间紧迫的作
528KB
论文研究-Hadoop剩余有效时间调度算法 .pdf
2019-08-18Hadoop剩余有效时间调度算法,李熙文,邹华,并行计算被用来解决复杂的分布式计算问题和大型的处理问题,通过同时使用多台机器中的计算能力,达到实现高效并行计算的目的。Had
293KB
论文研究-Hadoop公平调度器延迟调度算法延迟间隔的选择 .pdf
2019-08-21Hadoop公平调度器延迟调度算法延迟间隔的选择,张博钰,方维,目前,Hadoop分布式计算框架在各大互联网企业中被广泛的应用。多用户共享集群是Hadoop应用的典型场景,其中如何在保证用户作业服务质
275.76MB
spark-1.6.0-bin-hadoop2.6.tgz
2018-07-13linux中搭建spark环境使用的spark-1.6.0-bin-hadoop2.6.tgz安装包
531KB
论文研究-Hadoop云平台MapReduce模型优化研究.pdf
2019-09-10针对Hadoop平台MapReduce分布式计算模型运行机制中的顺序制约而产生的计算资源浪费问题,从提高平台中每个执行节点的细粒度并行数据处理角度出发,结合Java共享内存多线程编程技术,对该模型进行
517KB
论文研究-Hadoop平台下改进的LATE调度算法.pdf
2019-09-07对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础
179.0MB
spark-assembly-1.6.1-hadoop2.6.0.jar
2018-06-11spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载,,,,,,,,,,,,,,,,,,,,
172.42MB
hadoop安装包centos6.5-hadoop-2.6.4.tar.gz
2018-03-28hadoop安装包centos6.5-hadoop-2.6.4.tar.gzhadoop安装包centos6.5-hadoop-2.6.4.tar.gz
654KB
论文研究-改进的Hadoop作业调度算法.pdf
2019-09-07分布式集群普遍存在负载均衡问题,而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制,但是效果不太理想,因此运行过程中经常会出现负载不均衡的情况。针对如上问题,深入分析了Hadoop源代码,理
83.60MB
hbase_0.98.13-hadoop2-bin.tar.gz
2018-05-24hbase_0.98.13-hadoop2-bin.tar.gz的相关包。希望能解决你们的问题。
518KB
论文研究-异构Hadoop环境下的实时作业调度算法.pdf
2019-09-13为提升Hadoop集群在异构环境下处理硬实时作业的性能,提出一种基于历史进度自动调整作业优先级的调度算法(HAPS)。该算法实时监控作业进度信息,对作业进度率进行指数平滑预测,计算作业剩余执行时间,动
285.83MB
flink-1.7.2-bin-hadoop27-scala_2.11.tgz
2020-07-19flink-1.7.2-bin-hadoop27-scala_2.11.tgz
39.45MB
flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
2020-03-03flink-shaded-hadoop-2-uber-2.7.5-10.0.jar
221.75MB
spark-2.4.5-bin-hadoop2.7.tar.gz
2020-06-04spark-2.4.5-bin-hadoop2.7.tgz的安装包,适用ubuntu,Redhat等linux系统,解压即可安装,解压命令:tar -zxvf spark-2.4.5-bin-hado
1.2MB
论文研究-Hadoop云平台下基于资源预估的作业调度算法.pdf
2019-07-22为解决Hadoop云平台下作业无法满足时间约束的问题,提出一种基于资源预估的作业调度算法。通过建立资源预估模型计算作业所需资源,结合作业间的资源竞争关系对完成时间进行判定,最后根据作业的数据本地性改进
68B
flink-1.6.1-bin-hadoop27-scala_2.11.tgz
2020-06-18百度网盘 百度网盘 百度网盘 里面是flink-1.6.1-bin-hadoop27-scala_2.11.tgz文件
217.50MB
spark-2.4.4-bin-hadoop2.6.tgz
2020-02-02spark-2.4.4-bin-hadoop2.6.tgz
247.36MB
spark-1.3.1-bin-hadoop2.6.tgz
2019-03-26linux\windows中搭建spark环境使用的spark-1.3.1-bin-hadoop2.6.tgz安装包
117.44MB
spark-2.1.0-bin-without-hadoop.tgz
2018-06-20Linux系统 大数据开发 spark-2.1.0-bin-without-hadoop.tgz
213.50MB
spark-2.3.1-bin-hadoop2.6.tgz
2018-09-30sprak2.3.1版本的linux平台安装包spark-2.3.1-bin-hadoop2.6.tgz
215.55MB
Linux的spark-2.3.3-bin-hadoop2.7.tgz
2019-07-07spark的安装包,Linux下使用,需要欢迎下载,spark-2.3.3-bin-hadoop2.7
156.62MB
spark-assembly-1.5.2-hadoop2.6.0jar包
2018-08-14使用scala开发spark应用时用到的jar包:spark-assembly-1.5.2-hadoop2.6.0jar包
56.63MB
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
2020-11-16Flink-1.11.2与Hadoop3集成JAR包,放到flink安装包的lib目录下,可以避免Caused by: org.apache.flink.core.fs.UnsupportedFile
546KB
论文研究-风电场数据中心Hadoop云平台作业调度算法研究.pdf
2019-09-11风电场数据中心包含状态监测、数据采集等实时类作业和非实时类作业,采用C/S结构存在资源利用率不平衡、管理与维护成本高等缺点。设计了一种基于Hadoop云平台的数据中心架构;针对开源Hadoop平台现有
156.99MB
spark-assembly-1.5.2-hadoop2.6.0.jar
2018-12-21spark-assembly-1.5.2-hadoop2.6.0 在spark编程中使用的一个jar
39.18MB
flink-shaded-hadoop-2-uber-2.7.2-11.0.jar
2020-09-02flink-shaded-hadoop-2-uber-2.7.2-11.0.jar 是flink1.11集成hadoop2.7.2的jar依赖。
210.6MB
spark-3.0.0-bin-hadoop2.7.tgz
2020-07-17spark-3.0.0-bin-hadoop2.7.tgz 官网下载不了的,需要资源的,可以到这里下载哦
215.41MB
spark-2.3.1-bin-hadoop2.7.zip
2020-10-12spark-2.3.1-bin-hadoop2.7.zip
211KB
论文研究-Hadoop集群公平调度算法的改进 .pdf
2019-08-17Hadoop集群公平调度算法的改进,张晓莉,谷利泽,对于基于特定系统和应用建立的Hadoop集群,任务的作业优先级别有显著差异。此时原有的公平调度算法并不能很好地利用资源并完成相应
-
博客
学习软件测试必备的网站清单,建议收藏!
学习软件测试必备的网站清单,建议收藏!
-
博客
php数组函数大全
php数组函数大全
-
博客
双进程互斥的Dekker‘s 算法, algorithm sero, one,two算法,Peterson算法
双进程互斥的Dekker‘s 算法, algorithm sero, one,two算法,Peterson算法
-
下载
FPGA入门学习路线.pdf
FPGA入门学习路线.pdf
-
学院
MySQL 多实例安装 及配置主从复制实验环境
MySQL 多实例安装 及配置主从复制实验环境
-
下载
只需要几秒 超强win10关闭自动更新工具.rar
只需要几秒 超强win10关闭自动更新工具.rar
-
下载
scala-intellij-bin-2020.3.20.zip
scala-intellij-bin-2020.3.20.zip
-
学院
Mysql数据库面试直通车
Mysql数据库面试直通车
-
下载
linux ubuntu18.04 英伟达驱动 实测能装上 识别1080ti 1070ti显卡 NVIDIA-Linux-x86_64-460.39.run
linux ubuntu18.04 英伟达驱动 实测能装上 识别1080ti 1070ti显卡 NVIDIA-Linux-x86_64-460.39.run
-
下载
占据主动!刘强东微博营销之道.pdf
占据主动!刘强东微博营销之道.pdf
-
学院
在 Linux 上构建企业级 DNS 域名解析服务
在 Linux 上构建企业级 DNS 域名解析服务
-
学院
MySQL NDB Cluster 负载均衡和高可用集群
MySQL NDB Cluster 负载均衡和高可用集群
-
学院
使用 Linux 平台充当 Router 路由器
使用 Linux 平台充当 Router 路由器
-
下载
139网站可用性测试报告.pdf
139网站可用性测试报告.pdf
-
博客
PyTorch hub 模块
PyTorch hub 模块
-
博客
网页bug测不出来?不知道的还&#
网页bug测不出来?不知道的还&#
-
博客
基于SpringBoot+MyBatis的电影购票系统
基于SpringBoot+MyBatis的电影购票系统
-
学院
零基础一小时极简以太坊智能合约开发环境搭建并开发部署
零基础一小时极简以太坊智能合约开发环境搭建并开发部署
-
学院
基于python的dango框架购物商城毕业设计毕设源代码使用教程
基于python的dango框架购物商城毕业设计毕设源代码使用教程
-
下载
利用社交媒体创造销售奇迹的十大经典案例.jpg
利用社交媒体创造销售奇迹的十大经典案例.jpg
-
下载
社交运营数据挖掘.ppt
社交运营数据挖掘.ppt
-
博客
jquery使用serialize()出现中文乱码怎么办
jquery使用serialize()出现中文乱码怎么办
-
博客
PHP深入理解-PHP架构布局
PHP深入理解-PHP架构布局
-
学院
2021年 系统分析师 系列课
2021年 系统分析师 系列课
-
博客
fluxweb结合Swagger出现的问题
fluxweb结合Swagger出现的问题
-
学院
基于Qt的LibVLC开发教程
基于Qt的LibVLC开发教程
-
下载
[全案]非付费推广之QQ群推广方案(2011年4月1日更新).pdf
[全案]非付费推广之QQ群推广方案(2011年4月1日更新).pdf
-
下载
svg_pnf_Selector-源码
svg_pnf_Selector-源码
-
博客
人脸识别之FaceNet详解
人脸识别之FaceNet详解
-
下载
网络营销知识仓库.txt
网络营销知识仓库.txt