spark-dataflow

火花数据流 Spark-dataflow 允许用户使用 Spark 执行数据流管道。 在SparkPipelineRunner.run集群上执行管道很容易：依赖项目中的 spark-dataflow 并通过调用SparkPipelineRunner.run在程序中执行管道。 本项目当前版本的Maven坐标为：com.cloudera.dataflow.spark dataflow-spark 0.0.1 在具有 2 个线程的本地模式下针对 Spark 集群运行管道的示例。 管道 p = Pipeline.create(PipelineOptionsFactory.create()); /** 构建管道的逻辑 */ EvaluationResult result = new SparkPipelineRunner("local[2]").run()