3、Druid的load data 示例（实时kafka数据和离线-本地或hdfs数据）

3、Druid的load data 示例（实时kafka数据和离线-本地或hdfs数据） 网页地址：https://blog.csdn.net/chenwewi520feng/article/details/130801752 本文介绍了Druid摄取离线与实时数据的过程，离线数据包括本地文件和hdfs数据，实时数据以kafka为示例进行说明。 Apache Druid 是一个高性能的列式数据存储系统，常用于实时分析和大数据处理。在本篇文章中，我们将深入探讨如何使用 Druid 进行数据加载，特别是针对实时 Kafka 数据和离线本地或 HDFS 数据的摄取过程。 我们来看离线数据的摄取。批量数据加载通常用于处理历史数据或者定期更新的数据。Druid 提供了两种方法来摄入离线数据，即从本地文件和 HDFS 文件中加载。 1. **本地文件摄取**： 在上一篇文章中已经提到了本地文件的摄入步骤。通常，你可以通过编写 JSON 格式的索引任务配置文件来指定数据源、解析器等信息，然后使用 Druid 的 indexing service 来执行这个任务。数据解析器如“hadoopyString”可以处理文本数据，并将其转换为 Druid 可以理解的格式。 2. **HDFS 文件摄取**： 要从 HDFS 加载数据，首先确保你的 Hadoop 集群正常运行。你需要将数据上传到 HDFS，并创建一个 JSON 配置文件（如 `index_test.json`），其中包含数据源、解析器和时间戳等信息。例如，配置文件可能指定了 HDFS 上数据文件的位置（如 `hdfs://HadoopHAcluster/druid/test.json`）以及数据解析的格式（如 JSON）。在 Druid 中，你可以设置 `type` 为 `index_hadoop` 来启动 Hadoop 批量加载任务。 接下来，我们转向实时数据的摄取，这里以 Kafka 为例。Kafka 是一个分布式流处理平台，常用于实时数据管道和消息系统。Druid 可以直接从 Kafka 主题消费数据，进行实时分析。 实时数据摄取使用的是 Druid 的 `KafkaIndexTask`。你需要在 Druid 的配置文件中定义 Kafka 源，包括 Kafka 服务器地址、主题名称、消费者配置等。同时，你需要指定数据解析器，以便 Druid 能够理解 Kafka 中的消息内容。例如，如果你的消息是 JSON 格式，可以使用 `firehose:inputFormat:json`。 在创建好配置后，通过 Druid 的 REST API 或者使用命令行工具提交这个任务，Druid 就会开始实时地从 Kafka 中读取并处理数据。 总结一下，Druid 的数据加载能力覆盖了离线和实时场景，使得它能够灵活应对各种数据源。对于离线数据，无论是本地文件还是 HDFS 文件，都可以通过 JSON 配置文件来定义数据加载任务。而对于实时数据，Druid 支持直接从 Kafka 等流数据平台获取数据，实现了快速响应的实时分析需求。这种强大的数据摄取机制是 Druid 成为实时分析领域的重要工具之一。