通过elk收集微服务模块日志.doc
需积分: 34 66 浏览量
2019-09-27
13:42:34
上传
评论
收藏 416KB DOC 举报
通过 elk 收集微服务模块日志
前言
Elastic Stack 提供 Beats 和 Logstash 套件来采集任何来源、任何格式的数据。其实
Beats 和 Logstash 的功能差不多，都能够与 Elasticsearch 产生协同作用，而且
logstash 比 filebeat 功能更强大一点，2 个都使用是因为：Beats 是一个轻量级的采集
器，支持从边缘机器向 Logstash 和 Elasticsearch 发送数据。考虑到 Logstash 占用系
统资源较多，我们采用 Filebeat 来作为我们的日志采集器。并且这里采用 kafka 作为
传输方式是为了避免堵塞和丢失，以实现日志的实时更新。
介绍
1.Filebeat：filebat 是一个用于转发和集中日志数据的轻量级 shipper。作为代理
安装在服务器上，filebeat 监视指定的日志文件或位置，收集日志事件，并将它们
转发给 ElasticSearch 或 logstash 进行索引。
2.Logstash：Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数
据，转换数据，然后将数据发送到存储库。
3.ElasticSearch：Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水
平扩展、高可靠性和管理便捷性而设计。
4.Kibana：Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全
方位配置和管理 Elastic Stack。
ELK 软件版本
建议采用相同的版本 （注：可以扫描二维码进群要对应的安装包）
kafka、Zookeeper 安装
kafka 是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中
的所有动作流数据。
ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的
Chubby 一个开源的实现，是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用
提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服
务等。
剩余21页未读，继续阅读
评论0
最新资源