EFK日志系统安装配置文档

ELK、EFK安装及配置文档，详细的阐述了EFK架构，其中包括了kafka、elasticsearch、elasticsearch-head、nodejs、kibana、logstash、filebeat等的安装配置。 ### EFK日志系统知识点详解 #### 一、概述与配置规划 **概述：** EFK（Elasticsearch、Filebeat、Kafka）日志系统是一种高效的数据收集、存储和分析解决方案。它主要由三个核心组件构成：Filebeat用于收集日志数据；Kafka作为中间消息队列，提供可靠的数据传输；Elasticsearch则负责存储和索引这些数据。通过这样的组合，可以实现对日志数据的实时监控和高效查询。 **配置规划：** 为了确保系统的稳定性和性能，需要对各个组件进行合理的规划。这包括但不限于服务器资源分配、网络配置以及软件版本的选择等。合理的规划能够帮助减少部署过程中的问题，并且提升整体系统的运行效率。 #### 二、各软件版本 - **Elasticsearch:** 6.3.1 版本 - **Filebeat:** 最新版本 - **Kafka:** 最新版本 - **Kibana:** 最新版本 - **Logstash:** 最新版本 #### 三、日志处理流程 - **Filebeat:** 收集本地或远程主机上的日志数据。 - **Kafka:** 作为消息队列接收来自Filebeat的数据，并将其传递给Logstash。 - **Logstash:** 对接收到的日志数据进行解析、转换和过滤，然后发送到Elasticsearch。 - **Elasticsearch:** 存储经过处理的日志数据，并提供搜索和分析功能。 - **Kibana:** 提供可视化界面，便于查看和分析存储在Elasticsearch中的数据。 #### 四、各服务启动顺序 正确的启动顺序对于系统的正常运行至关重要。错误的顺序可能导致数据丢失或系统故障。 1. **Elasticsearch、Kafka、Kibana** 启动。 2. **Logstash** 启动。 3. **Filebeat** 最后启动。 如果Filebeat先于Logstash启动，Logstash可能无法正确读取Kafka中的数据。 #### 五、架构 整个架构由以下组件组成： - **JDK:** 所有机器都需要安装1.8及以上版本的JDK。 - **EFK 文件夹:** 在所有机器上创建`/opt/EFK`文件夹，用于存放相关的软件。 - **Elasticsearch:** 负责存储和检索数据。 - **Kafka:** 作为消息队列，负责传输数据。 - **Logstash:** 数据处理和转发中心。 - **Filebeat:** 数据收集器。 - **Kibana:** 数据展示和分析平台。 #### 六、JDK准备 所有参与部署的机器均需要安装1.8及以上版本的JDK。这里假设在部署CDH集群时已经安装了JDK 1.8.0_171，因此无需重复安装。 #### 七、新建EFK文件夹 在所有机器上新建`/opt/EFK`文件夹，用于存放EFK相关的软件。 #### 八、下载软件 软件下载地址为：https://www.elastic.co/downloads。具体包括： - Elasticsearch - Logstash - Kibana - Filebeat 以下载Elasticsearch为例： 1. **进入下载地址：** 访问https://www.elastic.co/downloads。 2. **点击download按钮：** 进入下载类型选择界面，选择TAR选项，下载最新版本。如elasticsearch-6.3.1.tar.gz。 #### 九、Elasticsearch安装 1. **解压安装包到 `/opt/EFK`：** 使用tar命令解压到指定目录。 2. **创建用户组及用户：** 创建es用户组及用户，并将EFK文件夹的所有权更改为es用户。 3. **创建数据目录和日志目录：** 使用es用户身份创建`/opt/EFK/data`和`/opt/EFK/logs`目录。 4. **修改配置文件：** 修改Elasticsearch配置文件，例如`elasticsearch.yml`，设置集群名称、节点名称、网络接口等。 5. **修改Linux配置文件：** 修改`/etc/security/limits.conf`、`/etc/security/limits.d/90-nproc.conf`和`/etc/sysctl.conf`，以支持Elasticsearch所需的系统资源限制。 6. **启动Elasticsearch：** 使用`/opt/EFK/elasticsearch/bin/elasticsearch`命令启动服务。 #### 十、Node.js安装 1. **下载Node.js：** 从官网下载最新版本的Node.js。 2. **解压Node.js：** 使用tar命令解压至指定目录。 3. **修改环境变量：** 将Node.js的bin目录添加到PATH环境变量中。 4. **测试：** 使用`node -v`命令验证Node.js是否正确安装。 #### 十一、Elasticsearch-head插件安装 1. **采用Node.js安装：** 需要在安装Elasticsearch-head之前先安装Node.js。 2. **下载ElasticSearch-head：** 下载Elasticsearch-head的源码包。 3. **解压：** 解压下载的文件至指定目录。 4. **安装Node.js：** 安装Node.js（如果尚未安装）。 5. **安装依赖：** 使用`npm install -g grunt-cli`和`npm install`安装所需依赖。 6. **更改配置信息：** 修改`elasticsearch-5x/config/elasticsearch.yml`和`elasticsearch-head/Gruntfile.js`文件中的配置信息。 7. **启动服务：** 使用`grunt server`命令启动Elasticsearch-head服务。 #### 十二、Kibana安装 1. **解压：** 将下载的Kibana压缩包解压至指定目录。 2. **更改配置信息：** 修改`kibana.yml`文件中的配置信息。 3. **运行：** 使用`./bin/kibana`命令启动Kibana服务。 4. **访问：** 在浏览器中输入Kibana的服务地址进行访问。 #### 十三、FileBeat安装 1. **解压：** 将下载的Filebeat压缩包解压至指定目录。 2. **创建配置文件：** 编写`filebeat.yml`配置文件，定义数据源、输出目的地等信息。 3. **启动：** 使用`./filebeat -e`命令启动Filebeat服务。 #### 十四、Kafka安装 1. **下载：** 从官网下载Kafka压缩包。 2. **解压：** 将下载的Kafka压缩包解压至指定目录。 3. **修改配置文件：** 修改`server.properties`文件中的配置信息，如broker.id、listeners等。 4. **启动Zookeeper：** 使用`kafka-server-start.sh config/zookeeper.properties`命令启动Zookeeper。 5. **启动Kafka：** 使用`kafka-server-start.sh config/server.properties`命令启动Kafka服务。 6. **创建主题：** 使用`kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --if-not-exists --bootstrap-server localhost:9092`命令创建名为test的主题。 #### 十五、Logstash安装 1. **解压：** 将下载的Logstash压缩包解压至指定目录。 2. **创建配置文件：** 编写Logstash配置文件，定义input、filter和output等部分。 3. **启动：** 使用`./bin/logstash -f /path/to/your/pipeline.conf`命令启动Logstash服务。 #### 十六、常见问题 - **ElasticSearch问题：** - **内存溢出：** 确保Elasticsearch有足够的内存资源。可以通过修改`jvm.options`文件调整最大堆内存。 - **启动失败：** 检查配置文件是否有误，确保网络配置正确，没有端口冲突等问题。 - **性能问题：** 可能是由于硬件资源不足或者配置不当导致。可以通过优化配置文件、增加硬件资源等方式解决。 以上内容详细介绍了EFK日志系统的安装配置过程，包括各个组件的具体安装步骤和注意事项。通过对这些知识点的理解和实践，可以帮助开发者更好地构建和维护高效的日志系统。