没有合适的资源?快使用搜索试试~ 我知道了~
CloudETL:用于Hive的可扩展维度ETL
共356个文件
class:219个
java:86个
jar:17个
需积分: 9 1 下载量 86 浏览量
2021-05-02
07:31:07
上传
评论
收藏 15.87MB ZIP 举报
温馨提示
CloudETL:用于Hive的可扩展维度ETL 介绍 提取转换加载(ETL)程序将数据从源数据处理到数据仓库(DW)中。 由于数据量的快速增长,对可按需扩展的系统的需求不断增长。 最近,人们对MapReduce给予了极大的关注,它是一种用于在云环境中高度并行处理海量数据集的框架。 基于MapReduce的Hive已被提议作为DW的类似于RDBMS的系统,并提供良好且可扩展的分析功能。 但是,使用(关系)Hive进行适当的维ETL处理仍然是一个挑战。 例如,不支持缓慢更改尺寸(SCD)的概念(由于缺乏对UPDATE的支持,手动操作也非常复杂)。 为了解决这个问题,我们在这里实现了支持云的ETL框架CloudETL。 CloudETL使用Hadoop并行执行ETL执行并将数据处理到Hive中。 用户通过高级构造和转换来定义ETL过程,而不必担心MapReduce的技术细节。 CloudETL
资源推荐
资源详情
资源评论
收起资源包目录
CloudETL:用于Hive的可扩展维度ETL (356个子文件)
all-wcprops 486B
FSUtil.class 23KB
FSUtil.class 23KB
Utils.class 22KB
Utils.class 22KB
BigDimensionJobHandler$DimensionTableMapper.class 12KB
BigDimensionJobHandler$DimensionTableMapper.class 12KB
MultipleOutputs.class 11KB
MultipleOutputs.class 10KB
RecordWritable.class 9KB
RecordWritable.class 9KB
MetaServerRPC.class 7KB
FactJobHandler$FactTableMapper.class 7KB
MetaServerRPC.class 7KB
FactJobHandler$FactTableMapper.class 7KB
DimensionJobHandler.class 7KB
DimensionJobHandler.class 7KB
DimensionJobHandler$DimensionTableMapper.class 7KB
DimensionJobHandler$DimensionTableMapper.class 7KB
DimensionJobHandler$DimensionTableReducer.class 7KB
DimensionJobHandler$DimensionTableReducer.class 7KB
CETaskAttemptContextWrapper.class 7KB
CETaskAttemptContextWrapper.class 7KB
LookIndexFileOutputFormat.class 6KB
MultipleOutputs$MOTaskAttemptContextWrapper.class 6KB
MultipleOutputs$MOTaskAttemptContextWrapper.class 6KB
LookIndexFileOutputFormat.class 6KB
Field.class 6KB
Field.class 6KB
CloudETLSnowflakeNoSCDTest1.class 6KB
MetaStore.class 6KB
MetaStore.class 6KB
Test.class 5KB
MetaServer.class 5KB
MetaServer.class 5KB
Prepartitioner.class 5KB
Prepartitioner.class 5KB
FactJobHandler.class 5KB
FactJobHandler.class 5KB
DimensionRecordsWriter.class 5KB
DimensionRecordsWriter.class 5KB
Lookup.class 5KB
Lookup.class 5KB
Test.class 5KB
FilenameByKeyMultipleTextOutputFormat$FilenameByKeyMultipleTextOutputFormaLineRecordWriter.class 5KB
FilenameByKeyMultipleTextOutputFormat$FilenameByKeyMultipleTextOutputFormaLineRecordWriter.class 5KB
AddField.class 5KB
AddField.class 5KB
MapFileOutputFormat.class 5KB
BigDimensionJobHandler.class 5KB
MapFileOutputFormat.class 5KB
BigDimensionJobHandler.class 5KB
SCDLookup.class 5KB
SCDLookup.class 5KB
DataTypeUtil.class 4KB
DataTypeUtil.class 4KB
LoalRawFileInputFormat.class 4KB
RecordComparator.class 4KB
LoalRawFileInputFormat.class 4KB
RecordComparator.class 4KB
PrepartitionReducer.class 4KB
PrepartitionReducer.class 4KB
CloudETLStarWithSCDTest.class 4KB
NamedFileOutputFormat.class 4KB
NamedFileOutputFormat.class 4KB
CloudETLStarWithSCDTest.class 4KB
DataWriter.class 4KB
CloudETLSnowflakeNoSCDTest.class 4KB
CloudETLStarNoSCDTest.class 4KB
DataWriter.class 4KB
SequenceIndexFileReader.class 4KB
CombineShimRecordReader.class 4KB
CombineShimRecordReader.class 4KB
CloudETLBigdimTest.class 4KB
CloudETLSnowflakeNoSCDTest.class 4KB
CloudETLStarNoSCDTest.class 4KB
LookupTransformer.class 4KB
LookupTransformer.class 4KB
BigDimensionJobHandler$DimensionTableReducer.class 4KB
CloudETLBigdimTest.class 4KB
BigDimensionJobHandler$DimensionTableReducer.class 4KB
SequenceIndexFileReader.class 4KB
FieldComparator.class 3KB
PrepartitionMapper.class 3KB
FieldComparator.class 3KB
PrepartitionMapper.class 3KB
DataReader.class 3KB
SorrogateKeyWritable.class 3KB
TransformingReader.class 3KB
DataReader.class 3KB
SorrogateKeyWritable.class 3KB
TransformingReader.class 3KB
ServerThread.class 3KB
NullKeyTextOutputFormat.class 3KB
NullKeyTextOutputFormat.class 3KB
SEQ.class 3KB
ServerThread.class 3KB
SCDValuesWritable.class 3KB
SEQ.class 3KB
JobPlanner.class 3KB
共 356 条
- 1
- 2
- 3
- 4
资源评论
蓝星神
- 粉丝: 28
- 资源: 4713
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功