logstash-best-practice.pdf

所需积分/C币:10 2015-08-18 2.04MB PDF
评分

logstash-best-practice.pdf
Logstash最佳实践 Logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for lateruse(like,forsearching).--http://ogstash.net 虽然 Logstash通常都是和 Kiana以及 Elasticsearch一起使用,其实还有很多其他的用法值得我们关注的。即便只用ELK stack,也有很多可优化的工作需要做。 这就是本书的由来。 推荐阅读 Elasticsearch权威指南 精通 Elasticsearch Kiana中文指南 e The Loastash Book 说明 因为 giftbook不让修改价钱,也不让刪除。所以我把 markdown格式的内容发布在 github上了 见:https://github.com/chenryn/logstash-best-practice-cn。没法支付美元的读者可以直接下载gtu上的内容,然后随机打 赏点支付宝 欢迎捐赠,作者支付宝账号:ao.chenin@gmail.com 征集 logstash社区目前比较常见的用法,有些是本人并不熟悉的,强烈希望有人可以帮助完成这部分章节 windows-平台姸何使用es传掄数据给 vestas 如何使用 logstash- orwarder 如何使用kaka消息队列 致谢 感谢 crazy完成 inputs/collectd插件介绍章节 ·感谢松涛完成 ecosystem/nxlog场景介绍章节。 ·感谢Leiu完成 ecosystem| ogstash-forwarder介绍章节。 基础知识 什么是 Logstash?为什么要用 Logstash?怎么用 Logstash? 本章正是來回答这个问题,或许不完整,但是足够讲述一些基础概念。跟着我们安装章节一步步來,你就可以成功的运行起 来自己的第一个 logstash了 我可能不会立刻来展示 logstash配置细节或者运用场景。我认为基础原理和语法的介绍应该更加重要,这些知识未来对你的 帮助绝对更大 所以,认莫阅渎他们吧! 介绍 历史沿革 Logstash项目涎生于2009年8月2日。其作者是世界著名的运维工程师乔丹西塞( Jordan sisse),乔丹西塞当时是著名虚 拟主机托管商 DreamHost的员工,还发布过非常棒的软件打包工具tm,并主办着一年一度的 sysadmin advent calendar( advent calendar文化源自基督教氛围浓厚的Pe社区,在每年圣诞来临的12月举办,从12月1日起至12月24 日止,每天发布一篇小短文介绍主题相关技术) 小贴士: Logstash动手很早,对比一下, scribed诞生于2008年,ume诞生于2010年, Graylag2诞生于2010年, Fluent涎生于2011年。 scribed在2011年进入半死不活的状态,大大激发了其他各种开源日志收集处理框架的蓬勃发展, Logstash也从2011年开 始进廴 commit密集期并延续至今。 作为一个系出名门的产品, Logstash的身影多次出现在 Sysadmin Weekly上,它和它的小伙伴们 Elasticsearch、 Kiana直 接成为了和商业产品 Splunk做比较的开源项目(乔丹西塞會经在博客上承认设计想法来自AWS平台上最大的第三方日志服 务商Logy,而Logy两位创始人都會是 Splunk员工) 2013年, Logstash被 Elasticsearch公司收购, ELK stack正式成为官方用语(虽然还没正式命名)。 Elasticsearch本身也是 近两年最受关注的大数据项目之一,三次融资已经超过一亿美元。在日 asticsearch开发人员的共同努力下, Logstash的发 布机制,插件架构也愈发科学和合理。 小贴士 · elasticsearch项目开始于2010年,其实比 logstash还晚 ·目前我们看到的 angularis版本 kiana其实原名叫 elasticsearch- dashboard, kiana原先是RoR框架的另一个项目, 但作者是同一个人,换句活说, kiana比 logstash还早就进了 elasticsearch名下。 社区文化 日志收集处理框架这么多,像 scribe是 facebook出品,fume是 apache基金会项目,都算声名赫赫。但 logstash因乔丹 西塞的个人性格,形成了一套独特的社区文化。每一个在 google groups的 logstash-users组里问答的人都会看到这么一句 Remember: if a new user has a bad time, it's a bug in logstash. 所以, logstash是一个开放的,极其互助和友好的大家庭。有任何问题,尽管在 github issue, Google groups, Freenode# logstash channel上发问就好 安装 下载 目前, Logstash分为两个包:核心包和社区贡献包。你可以从htp:/ ww.elasticsearch. org/overviewlelkdownloads/下载这 两个包的源代码或者二进制版本 ·源代码方式 gethttps://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz wgethttps://download.elasticsearch.org/logstash/logstash/logstash-contrib-1.4.2.tar.gz Debian平台 wgethttps://download.elasticsearch.org/logstash/logstash/packages/debian/logstash_1.4.2-1-2cof5a1_all.deb wgethttps://download.elasticsearch.org/logstash/logstash/packages/debian/logstash-contrib1.4.2-1-efd53efall.deb Redhat平台 wgethttps://download.elasticsearch.org/logstash/logstash/packages/centos/logstash-1.4.2-1_2cof5a1.noarch.rpm https://download.elasticsearch.org/logstash/logstash/packages/centos/logstash-contrib-1.4.2-1_efd53ef.noarch.rpm 安装 上面这些包,你可能更偏向使用rpm,dkg等软件包管理工具来安装 Logstash,开发者在软件包里预定义了一些依赖。比 如,10 stash-1.4.2-12 cOf5a, narch就依赖于jre包。 另外,软件包里还包含有一些很有用的脚本程序,比如etc/init.d/1 ogs tash。 如果你必须得在一些很老的操作系统上运行 Logstash,那你只能用源代码包部署了,记住要自己提前安装好Java: yum install openjdk-]re export JAVA HOME=/usr/java tar zxvf lngstash-1.4.2. tar. gz 最佳实践 但是真正的建议是:如果可以,清用 Elasticsearch官方仓库来直接安装 Logstash Debian平台 wget-0-http://packages.elasticsearch.org/gpg-key-elasTicSearChapt-keyard cat >>/etc/apt/sources list <<EOF debhttp://packages.elasticsearch.org/logstash/1.4/debianstablemain apt-get uprate apt-get install logstash Redhat rpmimporthttp://packages.elasticsearch.org/gpg-key-elasTicsEarcH cat >/etc/yum. repos. d/logstash repo <EOF [logstash-1. 4] name=logstash repository for 1. 4.x packages baseurl=http://packages.elasticsearch.org/logstash/1.4/centos gpgcheck=1 pgkey=http://packages.elasticsearch.org/gpg-key-elaSticSearCh enabled=1 yum clean al⊥ yum install logstash Hello world 和绝大多数∏技犬介绍一样,我们以一个输出" hello world"的形式开始我们的 logstash学习。 在终端中,像下面这样运行命合来启动 Logstash进程 #t bin/logstash -e 'input [stdinfoutout [stdout codec=>rubydebug1' 然后你会发现终端在等待你的输入。没问题,敲入 Hello world,回车,然后看看会返回什么结果 结果 { message"=>Hello world", "@ timestamp"=>"2614-08-07T18:39:59.937z host=>"raochenlindeMacBook-Air local" 没错!你搞定了!这就是全部你要做的。 解释 每位系统管理员都肯定写过很多类似这样的命爷: cat randdata awk"' print$2}'| sort uniq- c tee sortdata 这个 管道符|可以算是Linuⅸ世界最伟大的发明之一(另一个是“一切皆文件) Logstash就像管道符一样! 你输廴(就像命命行的cat)数据,然后处理过滤(就像awκ或者uniq之类)数据,最后输出(就像te)到其他地方。 当然实际上, Logstasi是用不同的线程来实现这些的。如果你运行to命合然后按下H键,你就可以看到下面这样的输 出 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 21401root1661249m393m10ms18.60.2866:25.46| worker 21467 root 151249m393m19ms3.7的.2129:25.59>e1 asticsearch 21468 root 1561249m3⊙3m1ms3.7.2128:53.39>e1 asticsearch 21460r。ot 151249m393m10ms2.76.2108:35.86<fi1e 21403 root 151249m 10ms1.30.249:31.89> output 70 root 1561249m 10m s 1.0 0.2 56: 24.24 >elasticsearch 小贴士: logstash很温馨的给每个线程都取了名宇,输入的叫x,过滤的叫|xx 数据在线程之间以事件的形式流传。不要叫行,因为 logstash可以妪理多行事件。 Logstash会给事件添加一些额外信息。最重要的就是@ timestamp,用来标记事件的发生时间。而host标记事件发生在哪 里 你可以随意给事件添加字段或者从事件里删除字段。事实上事件就是一个Ruy对象,或者更简单的理解为就是一个哈希也 小贴士:每个 logstash插件,不管是输入、过滤还是输出,都会有两个方法叫 add field和 remove field。 推荐阅读 a the life of an event 配置语法 Logstash社区通常习惯用 shipper, broker和 indexer来描逑数据流中不同进程各自的角色。如下图 shipper tash Web Broker Indexer Search昌 Shipper Interface Redis LogStash LogStash 10001 Storage. LogStash 100.0.1 Elastlcssarch 10001 10.0.0.1 Shipper LogStash 不过我见过很多运用场景里都没有用 ogstash作为 shipper,或者说没有用 elasticsearch作为数据存储也就是说也没有 indexer。所以,我们其实不需要这些概念。只需要学好怎么使用和配置 logstash进程,然后把它运用到你的日志管理架构中 最合适它的位置就够了。 语法 Logstash没计了自己的DSL—有点像 Puppet的DSL,或许因为都是用Ruby语营写的吧—包括有区域,注释,数据 类型(布尔值,字符串,数值,数组,哈希),朵件判断,字段引用等。 区段( section) Logstash用}来定义区域。区域内可以包括插件区域定义,你可以在一个区域內定义多个插件。插件区域内则可以定义健 值对设萱。示例如下 input t stdin syslog t 数据类型 Logstash支持少量的数据值类型 e boo debug = true · string

...展开详情
立即下载 最低0.43元/次 学生认证VIP会员7折
举报 举报 收藏 收藏 (2)
分享

评论 下载该资源后可以进行评论 1

daoying0 很好的书,在日志收集中帮助很大
2019-07-03
回复
55.7MB
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案_PDF电子书下载 高清 完整

自己网上花钱买的,共享出来,3分很实惠的,需要的拿走

2017-04-27
11.89MB
logstash+es+kibana高清PDF

logstash+es+kibana高清PDF,详细介绍了ELK的工作原理及使用,高清PDF带导航栏,值得拥有

2017-01-24
12.3MB
elk中文版权威指南

elk中文版权威指南,详细讲解Logstash+Elasticsearch+Kibana 日志系统安装部署

2017-11-24
140.71MB
rpm离线安装logstash-6.2.4和logstash-output-jdbc插件

centos7下安装rpm离线安装logstash-6.2.4和logstash-output-jdbc插件 内含logstash rpm包和已打包好的logstash-output-jdbc插件

2018-08-03
146.84MB
logstash-6.2.4.zip

logstash-6.2.4.zip, logstash-6.2.4.zip,logstash-6.2.4.zip

2018-07-02
8.01MB
logstash-input-mongodb-0.4.1[logstash-6.5.4]

适用于logstash-input输入数据源mongodb插件,离线安装包。已包含所有依赖 修改资源积分1 2020年4月15日13:10:09

2019-01-24
13KB
logstash-filter-multiline-3.0.2.gem

logstash-filter-multiline gem安装包 ,执行./logstash/bin/logstash-plugin install ./logstash/vendor/bundle/jruby/1.9/cache/logstash-filter-multiline-3.0.2.gem

2016-11-15
154.09MB
logstash集成logstash-input-jdbc

该包适用于配置ES与MySQL进行同步,此包已经继承logstash-input-jdbc插件

2018-11-30
2.12MB
logstash-input-jdbc-4.2.3离线安装包

这个资源可以直接使用 ./logstash-plugin install file:///path/to/logstash-input-jdbc-4.2.3.zip 这种命令安装;不需要联网;适用于logstash-5.5.3左右版本使用

2017-10-11
2.1MB
logstash-input-jdbc-4.2.1.zip

ELK版本5.5.0,logstash-input-jdbc插件版本是4.2.1,如需要其他版本可以留言

2020-01-16
227KB
linux下logstash-output-mongodb离线包

适用于linux环境下logstash5.6.1版本的离线安装,自己打包的,不用安装一堆依赖了,亲测好用。放至logstash5.6.1的bin目录下,执行 bin/logstash-plugin install file:///usr/local/logstash/logstash-5.6.1/bin/logstash-output-mongodb-3.1.4.zip 。最低1分,不然就免费了,需要的留言我的csdn账号,有用点下关注。谢谢!

2018-06-19
171.25MB
logstash-7.6.2.zip

Logstash是一个开源的日志收集管理工具,作为一个数据管道中间件,支持对各种类型数据的采集与转换,并将数据发送到各种类型的存储库。官网下载太慢,特意下载后分享给大家。此处为当前最新版logstash-7.6.2.zip。logstash-7.6.2.tar.gz亦可从我的资源页获取https://download.csdn.net/user/u010887744/uploads

2020-04-04
161.77MB
logstash-6.6.0.tar.gz

logstash-6.6.0

2019-06-10
164.68MB
logstash-7.6.2.tar.gz

Logstash是一个开源的日志收集管理工具,作为一个数据管道中间件,支持对各种类型数据的采集与转换,并将数据发送到各种类型的存储库。官网下载太慢,特意下载后分享给大家。此处为当前最新版logstash-7.6.2.tar.gz。logstash-7.6.2.zip亦可从我的资源页获取https://download.csdn.net/user/u010887744/uploads

2020-04-04
14KB
logstash-filter-multiline-3.0.4.gem

最新的logstash-filter-multiline-3.0.4.gem,好用请打赏,谢谢!

2018-12-25
165.12MB
logstash-6.8.1.rpm

logstash-6.8.1.rpm

2019-09-10
160MB
logstash-6.5.4.zip

logstash-6.5.4工具安装包下载

2019-06-28
img
ccdd11dd

关注 私信 TA的资源

上传资源赚积分,得勋章
相关内容推荐