strom的安装

1. strom的基本体系架构 Nimbus和Supervisor都能快速失败并恢复，而且它们是无状态的，其元数据存储在ZooKeeper中，这使得系统具有很高的容错性。Nimbus与Supervisor之间的协调工作是通过ZooKeeper来完成的。 Worker由Supervisor负责启动，一个Worker中可以有多个Executor线程，每个Executor中又可包含一个或多个Task。Task为Storm中的最小处理单元，它是Topology组件诸多并行度中的一个。每个Executor都会启动一个消息循环线程，用以接收、处理和发送消息。当Executor收到属于其下某一Task的消息后，就会调用该Task对应的处理逻辑对消息进行处 Strom 是一个分布式实时计算系统，它允许开发者创建复杂的数据流处理拓扑，并在大规模集群上以高吞吐量和低延迟的方式执行这些拓扑。它的核心设计目标是提供容错性和可扩展性，以满足大数据实时处理的需求。 Strom 的基本体系架构包括三个主要组件：Nimbus、Supervisor 和 Worker。Nimbus 负责任务调度和资源管理，它会将 Topology 分解成任务并分配给各个 Supervisor。由于 Nimbus 是无状态的，即使它崩溃，也可以从 ZooKeeper 中恢复状态，继续工作。Supervisor 是运行在各个工作节点上的守护进程，它根据 Nimbus 的指示启动和停止 Worker。ZooKeeper 在这个架构中扮演了关键角色，作为一致性服务，它存储了系统的元数据，包括 Nimbus 和 Supervisor 的信息，以及任务分配等状态。 Worker 是由 Supervisor 启动的进程，每个 Worker 可以包含多个 Executor 线程。Executor 是执行实际计算的单元，它可以包含一个或多个 Task。Task 是 Storm 中的最小处理单元，代表了 Topology 中的并行度。Executor 有一个消息循环线程，负责接收来自其他组件的消息，执行相应的 Task 处理逻辑，并发送结果。 在 Strom 集群的搭建过程中，首先需要安装 JDK，因为 Storm 的运行依赖 Java 环境。接着是安装 ZooKeeper，ZooKeeper 的配置文件（如 `/etc/profile`）需要添加环境变量，并设置 ZooKeeper 的服务器地址和端口。随后，安装 Storm，同样需要更新环境变量，指定 Storm 安装路径，并在 `storm.yaml` 配置文件中配置 ZooKeeper 地址、Nimbus 主机地址、本地工作目录以及 Supervisor 的工作端口。 启动集群时，首先启动 ZooKeeper，然后在 Nimbus 节点上运行 `storm nimbus`，在 Supervisor 节点上运行 `storm supervisor`，并在 Nimbus 节点上运行 `storm ui` 以启动 Web UI，便于监控集群状态。要测试集群，可以运行 Storm 提供的示例 Topology，例如 WordCount，通过 `storm jar` 命令提交 Topology，然后使用 `storm kill` 命令可以终止运行的 Topology。 Strom 的强大在于其灵活的实时处理能力，它提供了丰富的 API 和工具，使得开发实时数据处理应用变得更加简单。通过理解它的架构和配置过程，用户可以有效地构建和管理大规模的实时数据处理集群。