积分java源码-kafka-spark-consumer:用于SparkStreaming的高性能Kafka连接器。支持多主题...

积分java源码Kafka-Spark-Consumer 的 README 文件 注意：此 Kafka Spark Consumer 代码取自 Apache Storm 项目 () 的 Kafka spout，该项目最初由 wurstmeister () 创建。 原始 Storm Kafka Spout 代码已被修改以与 Spark Streaming 一起使用。 此实用程序将有助于使用 Spark Streaming 从 Kafka 提取消息，并更好地处理 Kafka 偏移量和处理故障。 这个消费者已经实现了一个自定义可靠接收器，它使用 Kafka Consumer API 从 Kafka 获取消息并将每个接收到的块存储在 Spark BlockManager 中。 该逻辑将自动检测主题的分区数量，并根据配置的接收器数量生成尽可能多的 Kafka 接收器。 每个接收器都可以从一个或多个 Kafka 分区中获取消息。 例如，如果 Kafka 有 100 个 Topic 分区，而 Spark Consumer 如果配置了 20 个 Receiver，则每个 Receiver 将处理 5