没有合适的资源?快使用搜索试试~ 我知道了~
java8源码-treasurebox:嘿!这是宝箱!好好享受!
共35个文件
scala:31个
xml:2个
iml:1个
需积分: 6 0 下载量 20 浏览量
2021-06-04
18:47:59
上传
评论
收藏 34KB ZIP 举报
温馨提示
java8 源码 TreasureBox 大数据百宝箱 大纲 这个框架封装了日常大数据工作的数据集处理,监控,评估等任务,并将大数据工作流程化,以此提高开发时间 因为数据体量的原因,大数据集的开发调试工作较其他开发而言很不一样,在总结多次开发实践之后,将调试工作单独抽出来,以方便调试 在大数据工作没有任何规范,约束的日子里,调试和开发的代码可读性很差,这个框架的目的也有提供一个可行的规范,使得代码可读性更强 快速开始 1 安装 java8 在本地 2 安装 scala 在本地 3 下载并打包本程序 4 执行example中的示例main方法 处理流程 本框架的总体流程如下图所示 1 DataLoader负责原始数据集的载入工作,因为这部分工作很多重复性劳动,所以可以抽离出来。目前共封装了3个数据源:hbase,hive,redis 2 DataCleaner负责数据清洗,目前是以组件的形式封装在DataLoader中,主要以BigDataVO的数据传输类进行约束 3 DataCutter负责数据集切分,这一块主要是评估任务用到,将训练集和测试集分离 4 DataConverter负责多
资源推荐
资源详情
资源评论
收起资源包目录
treasurebox-master.zip (35个子文件)
treasurebox-master
treasurebox.iml 39KB
README.md 2KB
pom.xml 11KB
src
main
scala
com
cgr
consts
TimeReferenseConsts.scala 2KB
ConventionConsts.scala 302B
TimeExtentConsts.scala 258B
utils
timeutils
TreasureBoxTimeUtils.scala 4KB
datasetutils
TreasureBoxStorageUtils.scala 2KB
TreasureBoxDataSetUtils.scala 2KB
modelutils
TreasureBoxModelUtils.scala 1KB
worker
SparkWorker.scala 607B
bigdata
dataloader
HiveDataLoader.scala 2KB
HbaseDataLoader.scala 379B
AUCDataLoader.scala 296B
BaseDataLoader.scala 621B
RedisDataLoader.scala 469B
monitor
CommonDataMonitor.scala 2KB
DataMonitor.scala 293B
computer
LogicAUCComputer.scala 976B
XGBoostAUCComputer.scala 2KB
Computer.scala 267B
debuger
DataDebuger.scala 126B
CommonDataDebuger.scala 234B
datacutter
SampleDataCutter.scala 2KB
RatingDataCutter.scala 389B
DataCutter.scala 292B
processor
AUCProcessor.scala 1KB
domain
BaseDataVO.scala 187B
BigDataVO.scala 456B
datacleaner
DataCleaner.scala 235B
CommonDataCleaner.scala 367B
converter
Convertter.scala 367B
XGBoostConvertter.scala 4KB
example
CommonExample.scala 181B
.idea
vcs.xml 167B
共 35 条
- 1
资源评论
weixin_38635684
- 粉丝: 7
- 资源: 954
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功