morphline-mr:MapReduce 与 Kite Morphline

MapReduce 与 Morphlines 介绍 Morphlne-MR 是一些 ETL 的简单 hadoop mapreduce 作业。 它从 Hdfs 读取输入数据并进行 morphline 处理，然后将文件写入 Hdfs。 morphline.conf 包含所有的魔法。 从_attachment_body字段读取数据 摸索绳子。 此时，输入数据被拆分为字段。 grok 命令后，每个字段都是可变的。 在过程结束时，设置value字段。 RecordEmitter 是为你写数据。 入门 $ git clone https://github.com/minyk/morphline-mr.git $ mvn package $ yarn jar target/morphline-mr-*-jar-with-dependencies.jar -f morphline_with_e