skywalking+es+kafka部署文档.docx

SkyWalking 是一个强大的分布式追踪和应用性能管理(APM)系统，尤其适合微服务架构。本文将详细介绍如何在环境中集成 SkyWalking 8.4.0、Kafka 和 Elasticsearch 7.12.0 的配置和搭建过程。 确保你已下载了 Apache SkyWalking 的特定于 Elasticsearch 7 的版本，例如 `apache-skywalking-apm-es7-8.4.0.tar`。Elasticsearch 7.x 版本是 SkyWalking 存储后端的一个选项，用于存储和分析监控数据。 **Elasticsearch 配置和启动** 1. **配置文件路径**：找到 Elasticsearch 的配置文件 `elasticsearch.yml`。 2. **配置项**： - `cluster.name`: 设置集群名称，应与 SkyWalking 的配置保持一致，例如 `wlhtest`。 - `node.name`: 设置节点名称，如 `node-1`。 - `network.host`: 设置为 `0.0.0.0` 以允许所有网络接口监听。 - `http.port`: 默认为 `9200`，保持不变或取消注释。 - `discovery.seed_hosts`: 必须配置，设置为 Elasticsearch 节点的 IP 列表，例如 `[“127.0.0.1”]`。 - `cluster.initial_master_nodes`: 必须配置，用于确定初始主节点，例如 `[“node-1”]`。 3. **启动 Elasticsearch**：运行 Elasticsearch 并验证其是否成功启动。在浏览器中访问 `http://127.0.0.1:9200`，显示欢迎页面表明启动成功。 **SkyWalking 配置和启动** 1. **配置 SkyWalking Collector**： - 在 `collector` 的配置文件中，选择 `elasticsearch7` 作为存储选择器。 - 设置 `nameSpace` 与 Elasticsearch 集群名称相同（例如 `wlhtest`）。 - 设置 `clusterNodes` 为 Elasticsearch 的地址和端口（例如 `192.168.13.164:9200`）。 2. **配置 Web 应用 (Webapp)**： - 修改应用服务器端口，避免端口冲突。 - 添加 `zuul` 和 `hystrix` 相关配置，以解决前端启动异常并启用服务监控。 3. **启动 SkyWalking**：在 Windows 上双击 `startup.bat`，在 Linux 上使用 `startup.sh` 命令启动。 4. **访问 SkyWalking UI**：通过默认地址 `http://localhost:8080` 访问用户界面。 **Agent 配置** 1. **服务名称**：设置 `service_name` 为你的应用名称。 2. **后端服务地址**：配置 `backend_service` 为 SkyWalking Collector 的 IP 和端口（例如 `192.168.13.164:11800`）。 **实际部署** 在实际部署中，SkyWalking 可能与其他被监控服务不在同一台服务器上。只需将 SkyWalking 的 Agent 文件部署到被监控服务中，并确保 Agent 配置指向 SkyWalking 服务的地址。 **Idea 启动配置** 在 IntelliJ IDEA 中启动应用时，需要在 VM 选项中添加 `-javaagent` 参数，指定 Agent 的 JAR 路径，并设置 `-Dskywalking.agent.service_name` 为当前服务的名称。 **Kafka 配置** 若要使用 Kafka 作为数据源，确保 Kafka 已启动。在 SkyWalking 配置中启用 Kafka Fetcher： 1. **配置文件**：在 SkyWalking 配置中找到 Kafka Fetcher 相关部分。 2. **设置项**： - `bootstrapServers`: 设置 Kafka 服务器地址和端口，例如 `192.168.13.164:9092`。 - `partitions`: 设置分区数，例如 `3`。 - `replicationFactor`: 设置副本因子，例如 `2`。 完成上述步骤后，SkyWalking 就能够收集并分析来自 Kafka 的监控数据了。确保所有配置正确无误，以实现有效的服务监控和故障排查。