kafka-2.12-3.6.0安装包以及linux(centos7)无zookeeper安装kafka-2.12-3.6.0(

在本文中，我们将深入探讨如何在Linux CentOS 7系统上安装Apache Kafka 2.12-3.6.0版本，特别关注无需Zookeeper的Kraft模式安装。Apache Kafka是一款高性能、分布式的消息队列系统，常用于大数据处理、实时流处理和微服务架构中的消息传递。而Kraft模式是Kafka在3.0版本引入的新特性，允许在没有Zookeeper的情况下运行Kafka集群，简化了部署和管理。 我们需要下载Kafka的安装包。在本例中，我们使用的是kafka_2.12-3.6.0。你可以从Apache官方网站或者通过wget命令在Linux环境中下载这个版本。下载完成后，解压文件： ```bash wget http://mirrors.linuxeye.com/apache/kafka/3.6.0/kafka_2.12-3.6.0.tgz tar -xzf kafka_2.12-3.6.0.tgz ``` 接下来，我们需要配置Kafka环境。创建一个`kafka`目录，并将解压后的Kafka目录移动到其中： ```bash mkdir /opt/kafka mv kafka_2.12-3.6.0 /opt/kafka/ ``` 接着，我们创建一个软链接，以便于在环境变量中使用： ```bash ln -s /opt/kafka/kafka_2.12-3.6.0 /usr/local/kafka ``` 在CentOS 7上，我们需要安装Java运行环境，因为Kafka依赖Java。如果你还没有安装，可以使用以下命令： ```bash sudo yum install java-1.8.0-openjdk ``` 由于我们采用Kraft模式，不需要Zookeeper，所以跳过与Zookeeper相关的配置。现在，我们来配置Kafka的配置文件`server.properties`，通常位于`config`目录下。找到`broker.id`设置，这是节点的唯一标识，你可以随意指定一个整数。同时，将`zookeeper.connect`行注释掉，因为它在Kraft模式中不再使用。另外，确保`kraft.enabled`设置为`true`。 ```properties broker.id=1 # zookeeper.connect=localhost:2181 kraft.enabled=true ``` 接下来，我们需要创建Kraft配置文件集群，这包括`version.log.dirs`和`controller.log.dirs`，它们分别用于存储副本和控制器日志。在Kafka根目录下创建这些目录： ```bash mkdir -p /var/lib/kafka/data/{version.log.dirs,controller.log.dirs} ``` 启动Kafka服务，我们可以编写一个启动脚本，例如`start-kafka.sh`： ```bash #!/bin/bash export KAFKA_HOME=/usr/local/kafka export PATH=$PATH:$KAFKA_HOME/bin $KAFKA_HOME/bin/kafka-server-start.sh $KAFKA_HOME/config/server.properties ``` 赋予脚本执行权限并运行： ```bash chmod +x start-kafka.sh ./start-kafka.sh ``` 至此，你已经成功地在CentOS 7上使用Kraft模式安装了Kafka 2.12-3.6.0，无需Zookeeper。为了实现高可用性，你需要在多个节点上重复上述步骤，并在`server.properties`中配置不同的`broker.id`。然后，使用`kafka-kraft-join-cluster.sh`和`kafka-kraft-bootstrap.sh`命令将它们加入集群。 注意，Kraft模式下的Kafka集群需要至少三个节点才能保持容错性。在生产环境中，你应该根据业务需求规划适当的副本数量和节点配置。 总结：本文详细介绍了在Linux CentOS 7系统上无Zookeeper的Kraft模式下安装Apache Kafka 2.12-3.6.0的步骤，包括下载和解压安装包，配置Kafka环境，修改`server.properties`文件，创建必要的数据目录，以及启动和管理Kafka服务。Kraft模式简化了Kafka的部署，使得集群更加易于管理和扩展。