crunch-example

preview
共19个文件
java:5个
avsc:2个
xml:2个
需积分: 0 3 下载量 52 浏览量 更新于2021-07-11 收藏 19KB ZIP 举报
紧缩示例 这是一个示例项目,演示了Kite Morphline SDK和Apache Crunch 。 样本输入 CSV 输入,使用 gzip 压缩,结构如下: id, name, age, salary, years_spent, title, department 示例 1:查找每个部门的平均工资 这是一个滑稽的例子。 创建它是为了演示围绕让两个框架( Morphline和Crunch )滚动所需的脚手架。 第一个示例是以下 SQL 查询的 Crunch 等效项 - SELECT department , AVERAGE( salary) FROM table GROUP BY department 下面提供了等效的 Crunch 代码(没有支架 Morphline 辅助文本->Avro 转换,可以在MorphlineDoFn.java找到)。 它具有最