为异构的大数据运行环境构建数据管道


-
学习如何在异构的运行环境里使用Pipeline61管理数据管道 Pipeline61的三个主要组件:执行引擎、数据服务,以及依赖和版本管理器 自动化版本控制和依赖管理为我们提供了历史可追踪性和可再现性 比较几个数据管道框架,如Crunch、Pig、Cascading、Flume和Tez 案例学习:使用Pip

-
2021-01-27
3.50MB
多源异构大数据下综合能源系统用户用能行为预测分析研究_马天男
2019-01-26多源异构大数据下综合能源系统用户用能行为预测分析研究_马天男
1.49MB
基于函数依赖的异构大数据跨源调度模型构建
2021-01-12为实现异构大数据体的多级跨源操作,完成主体数据队列的多级调度,提出基于函数依赖的异构大数据跨源调度模型。利用大数据冗余计算结果,建立完整的节点依赖时间序列,并以此为条件推导既定的成员籍系数,完成基于函
1.43MB
基于云计算的多源异构大数据跨源调度方法
2021-01-13传统大数据调度方法不能对底层网络流量进行整合,易导致云网络僵硬运行模式的出现。为解决上述问题,提出一种基于云计算的新型多源异构大数据跨源调度方法。通过在Postgresql连接中确定数据二进制存储形式
327KB
大数据产品中的异构数据源整合
2013-02-10大数据产品中的异构数据源整合方式
1.0MB
智能化煤矿大数据平台架构及数据处理关键技术研究
2020-07-25随着煤矿智能化技术深度推进,其数据量级及类型均呈爆炸式增长,利用大数据技术针对煤矿多源海量数据进行集成分析与数据价值挖掘,实现动态诊断与辅助决策,成为煤矿智能化的关键。煤矿大数据平台向下实现多源异构感
1.27MB
智能化综采管理平台中多源异构数据处理
2020-06-09针对智能化综采管理平台存在的信息孤岛以及子系统割裂等煤矿建设中存在的一系列问题,提出了智能化综采管理平台中的多源异构数据处理系统为主体的智能化煤矿建设体系架构。通过对大数据的采集、存储、分析以及系统实
1.89MB
基于K-均值聚类的多模态异构大数据检测算法研究
2021-01-12为了解决传统多模态异构大数据检测算法存在的存储极值高、QTI指标低,而导致数据模态混乱的问题,为解决此问题,建立基于K-均值聚类的多模态异构大数据检测算法。以异构语料库作为大数据支撑背景,借助多模态均
2.93MB
大数据管理:数据集成的技术 方法与最佳实践 完整中文版 清晰版
2014-10-09本书是数据集成领域的经典著作,由具有数十年从业经验的资深数据集成专家撰写,数据管理专家作序推荐!它为大数据时代的大中型企业管理企业内部大量的、复杂的应用系统之间的数据提供了解决方案,全面而深入地讲解数
293KB
\"大数据产品中的异构数据源整合\"分享总结
2019-04-22NULL 博文链接:https://snv.iteye.com/blog/1934704
362KB
大数据环境下机器学习在数据挖掘中的应用研究_张绍成.pdf
2020-02-26大数据呈现出 4V 特点,即价值密度低、数据容量大、数据种类多以及数据处理速度较快等. 经典的数据挖掘算法是机器学习算法在数据集合上的优化. 从提取、检索、储存、分享、分析和处理等角度 来看,传统经典
22.18MB
异构数据源数据交换工具 DataX.zip
2019-07-19一. DataX3.0 概览 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源
5.68MB
CNCC2019-张勇-基于知识图谱的健康医疗大数据融合技术及应用.pdf
2020-08-18转自CCF:https://dl.ccf.org.cn/lecture/lectureDetail?id=4663480272078848。 张勇,剑桥大学博士后。 摘要:健康医疗大数据是健康医疗活动
687KB
大数据环境下多源异构数据的访问控制模型
2021-01-20大数据平台具有开放性和共享性,但随着数据量不断增加且用户访问上下文环境复杂多变,RBAC模型难以满足大数据环境下细粒度、灵活的访问控制。针对这一问题,提出了大数据平台下多源异构数据的访问控制模型。该模
173KB
多源异构数据挖掘算法
2015-07-11主要是一个线性二乘来实现的多源异构算法,用于多源异构数据的各种处理
2.8MB
新型融合大数据平台
2018-11-15Ficus FicusFicusFicus是由索贝自主研发的一站式数据管理和应用平台,致力于解决大治 是由索贝自主研发的一站式数据管理和应用平台,致力于解决大治 是由索贝自主研发的一站式数据管理和应用
217KB
网络媒体大数据中的异构网络对齐关键技术和应用研究
2020-05-13大量社会媒体网络平台的广泛使用带来网络媒体大数据。单网络上的用户数据往往具有分布不均衡、噪音大、动态变化强、质量良莠不齐等特点,异构网络对齐成为多源数据融合、挖掘网络媒体大数据价值的首要前提。通过对异
303KB
多源异构数据整合应用研究
2010-07-01针对多源数据库之间的异构差异及互操作应用,分析和研究了异构数据集成体系结构、模式映射、模式 冲突及解决办法、查询处理、数据集成及数据管理等相关问题,提出了中间件体系结构的异构多源数据库整合系统 解决方
3.44MB
云计算、大数据及新型数据中心
2019-01-24大数据处理分析典型场景 海量异构关系型数据的汇聚 –新型电子政务 –业务及数据融合 低时延高并发的海量数据访问 –在线游戏 –电子商务平台 超大吞吐量数据写入 –舆情、视频监控 –物联网 大规
2.68MB
工业大数据白皮书2019
2019-04-03工业大数据产业应用联盟 1 前言....................................................................................
20.94MB
中国邮政大数据Hadoop平台投标文件_技术部分
2017-09-06中国邮政集团已深刻认识到数据战略对企业运营以及企业未来发展方向的重要性。物流与速递行业的本质是邮务,核心是数据,载体是平台,关键是客户体验,发展趋势是互联网与邮政的深度融合,要提升大数据贡献度。因此,
430KB
论文研究-大数据环境下网格动态故障检测服务 .pdf
2019-08-19大数据环境下网格动态故障检测服务,李景林,,研究大数据环境下网格动态故障检测服务的方法。大数据来源极其广泛,数据类型极为繁杂;数据的广泛性,资源的高度异构性和不同地
407KB
利用XML进行异构数据集成
2013-07-18设计XML异构数据访问中间件,屏蔽底层数据接口的差异性,统一用XML描叙数据源
375KB
异构数据库系统之间进行数据通信的技术
2020-02-04异构数据库系统之间进行数据通信的技术,侯爱民,,摘要:面对各种各样的数据库和同一个数据库的不同版本,如何保留历史数据和利用共享数据?本文讨论了采用数据管道来解决数据库系
947KB
论文研究-支持异构数据按需集成的数据服务聚合代数.pdf
2019-09-13传统的数据集成方法无法应对互联网的开放、动态和异构性,对用户即时、个性化的集成需求支持有限。数据服务是互联网环境下数据集成的基本单元。提出了数据服务聚合代数,基于嵌套关系和嵌套表格提供的良好的可视化集
272KB
基于大数据的煤矿安全监管联网平台设计与实现
2020-07-14针对现阶段我国煤矿安全总体形势依然严峻,监管效率有待提升等问题,设计并实现了基于大数据的煤矿安全监管三级联网平台。该平台采用分层架构设计方法,制订并遵从数据交换标准规范,建设煤矿、区县和地区三级网络,
2.43MB
Oracle GoldenGate异构系统下的实时数据复制解决方案
2015-11-04Oracle GoldenGate异构系统下的实时数据复制解决方案,适用于11g版本,内容为中文。
8.78MB
DataLink是一个满足各种异构数据源之间的实时增量同步分布式可扩展的数据交换平台
2019-08-08DataLink是一个满足各种异构数据源之间的实时增量同步,分布式、可扩展的数据交换平台
1.24MB
多维异构瓦斯浓度数据的融合实现
2020-04-20利用数据融合技术综合多维异构的测值,能在一定程度上解决煤矿安全领域中测量精度不足、稳定性不高的问题。在对井下瓦斯监控系统的数据获取技术进行分析后,根据其数据维度多、结构各异的特点,建立了异构瓦斯数据的
1.77MB
大规模异构网络数据融合
2018-03-20异步数据融合与知识图谱构建 异步数据融合中的机器学习方法.....
-
学院
基于SSM实现的房屋租赁系统【附源码】(毕设)
基于SSM实现的房屋租赁系统【附源码】(毕设)
-
学院
access应用的3个开发实例
access应用的3个开发实例
-
学院
2021年 系统分析师 系列课
2021年 系统分析师 系列课
-
博客
【枚举与countDownLatch的应用】
【枚举与countDownLatch的应用】
-
学院
使用vue搭建微信H5公众号项目
使用vue搭建微信H5公众号项目
-
下载
中国计量学院《微机原理及其应用》5套期末考试试卷(含答案).pdf
中国计量学院《微机原理及其应用》5套期末考试试卷(含答案).pdf
-
博客
php 使用__sleep和__wakeup方法序列化对象
php 使用__sleep和__wakeup方法序列化对象
-
学院
自动化测试Python3+Selenium3+Unittest
自动化测试Python3+Selenium3+Unittest
-
下载
浙江科技学院《砼结构结构设计》知识整理.pdf
浙江科技学院《砼结构结构设计》知识整理.pdf
-
博客
cuda toolkit and minimum compatible driver versions 2021最新版
cuda toolkit and minimum compatible driver versions 2021最新版
-
下载
数学建模竞赛论文写作方法.pptx
数学建模竞赛论文写作方法.pptx
-
下载
浙江科技学院《抗震》知识点总结.pdf
浙江科技学院《抗震》知识点总结.pdf
-
博客
numpy基本操作
numpy基本操作
-
博客
Java自学第11天 面向对象
Java自学第11天 面向对象
-
博客
mybatisplus的VO分页
mybatisplus的VO分页
-
下载
浙江科技学院《土木工程施工》07-12历年期末考试试卷(含答案).pdf
浙江科技学院《土木工程施工》07-12历年期末考试试卷(含答案).pdf
-
博客
面试-双素数
面试-双素数
-
下载
刑法学--期末复习题(含答案).pdf
刑法学--期末复习题(含答案).pdf
-
下载
西南科技大学《微机原理与接口技术》4套历年期末考试试卷(含答案).pdf
西南科技大学《微机原理与接口技术》4套历年期末考试试卷(含答案).pdf
-
学院
【硬核】一线Python程序员实战经验分享(1)
【硬核】一线Python程序员实战经验分享(1)
-
学院
华为1+X——网络系统建设与运维(高级)
华为1+X——网络系统建设与运维(高级)
-
下载
行政法与行政诉讼法--期末复习资料.pdf
行政法与行政诉讼法--期末复习资料.pdf
-
学院
MySQL 函数、用户自定义函数
MySQL 函数、用户自定义函数
-
下载
宪法学--期末复习知识点总结.pdf
宪法学--期末复习知识点总结.pdf
-
学院
华为1+X认证——网络系统建设与运维(初级)
华为1+X认证——网络系统建设与运维(初级)
-
下载
西方文化史复习资料与考点整理.pdf
西方文化史复习资料与考点整理.pdf
-
学院
零基础极简以太坊智能合约开发环境搭建并开发部署
零基础极简以太坊智能合约开发环境搭建并开发部署
-
下载
西南科技大学《自动控制原理》试题库(含答案).pdf
西南科技大学《自动控制原理》试题库(含答案).pdf
-
博客
聊聊storagetapper的pipe
聊聊storagetapper的pipe
-
下载
中国近现代史纲要课后习题答案及备考题库.pdf
中国近现代史纲要课后习题答案及备考题库.pdf