没有合适的资源?快使用搜索试试~ 我知道了~
crunch-example
共19个文件
java:5个
avsc:2个
xml:2个
需积分: 0 3 下载量 52 浏览量
更新于2021-07-11
收藏 19KB ZIP 举报
紧缩示例
这是一个示例项目,演示了Kite Morphline SDK和Apache Crunch 。
样本输入
CSV 输入,使用 gzip 压缩,结构如下:
id, name, age, salary, years_spent, title, department
示例 1:查找每个部门的平均工资
这是一个滑稽的例子。 创建它是为了演示围绕让两个框架( Morphline和Crunch )滚动所需的脚手架。
第一个示例是以下 SQL 查询的 Crunch 等效项 -
SELECT
department
, AVERAGE( salary)
FROM
table
GROUP BY
department
下面提供了等效的 Crunch 代码(没有支架 Morphline 辅助文本->Avro 转换,可以在MorphlineDoFn.java找到)。 它具有最
收起资源包目录
crunch-example-master.zip (19个子文件)
crunch-example-master
input-sample
employee_record.csv 137B
employee_record.avro 530B
header.csv 50B
employee_record.json 545B
.gitignore 19B
src
main
resources
schema
employee_summary.avsc 223B
employee_record.avsc 471B
hadoop-config
core-site.xml 142B
morphline
parse-employee-record.conf 1KB
java
com
cloudera
sa
examples
crunch
GenerateSummaries.java 4KB
MorphlineDoFn.java 4KB
EmployeeRecord.java 15KB
EmployeeSummary.java 7KB
test
java
com
cloudera
sa
examples
crunch
MorphlineDoFnTest.java 1KB
kite-notes.md 879B
pom.xml 9KB
README.md 2KB
setup-data.sh 188B
run.sh 140B
共 19 条
- 1
资源推荐
资源评论
197 浏览量
2021-05-24 上传
154 浏览量
140 浏览量
2021-03-09 上传
197 浏览量
2021-06-25 上传
151 浏览量
2022-04-04 上传
131 浏览量
2021-05-30 上传
181 浏览量
2019-09-02 上传
197 浏览量
2021-06-20 上传
2019-09-26 上传
2021-07-24 上传
198 浏览量
107 浏览量
2022-05-04 上传
127 浏览量
2021-02-04 上传
2021-05-13 上传
2020-01-19 上传
105 浏览量
2021-05-24 上传
105 浏览量
5星 · 资源好评率100%
156 浏览量
122 浏览量
资源评论
日月龙腾
- 粉丝: 37
- 资源: 4575
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功