实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯

所需积分/C币:46 2018-01-16 17:23:16 55.70MB PDF
79
收藏 收藏
举报

战Elasticsearch、Logstash、Kibana 大数据搜索与日志挖掘及可视化解决方案 elk
实战 E astiesearch、 stash Bana 分布式大数据搜索与日志挖掘及可视化解决方案 高凯编菩 清华大学出版社 北京 内容简介 对大数据的搜索与挖掘,在当今网络时代是很有必要的。本书提出的分布式大数据搜索与日志挖掘 及可视化解决方案是基于 Elasticsearch、 Logstash和 Kiana而形成的,它能有效应对海量大数据所带来的 分布式存储与处理、全文检索、日志挖掘、可视化等的挑战。构建在全文检索开源软件 Lucene之上的 Elasticsearcl,不仅能对海量规模的数据完成分布式索引与检索,还能提供数据聚合分析; Logstash能有效 处理来源于各种不同数据源的日志信息; Kiana能得出可视化分析结果。本书讲解有关 Elasticsearch Logstash、 Kiana的使用,相关内容以模块化的方式进行组织,注重实战,强调实践,内容新颖,组织合理 本书可为高校相关专业(如计算机科学与技术、软件工程、情报学、图书馆学、信息管理与信息系统)学 生的学习和科研工作提供帮助,同时对于从事大数据搜索与挖掘、信息检索与智能处理技术的工程技术人 员和希望了解网络信息检索与分析技术的爱好者也具有较高的参考价值。 本书封面贴有清华大学出版社防伪标签,无标签者不得销售。 版权所有,侵权必究。侵权举报电话:010-6278298913701121933 图书在版编目(CIP)数据 实战 Elasticsearch, Logstash、 Kiana分布式大数据搜索与日志挖掘及可视化解决方案/高凯编著 北京:清华大学出版社,2015 ISBN978-7-302-39984-1 Ⅰ.①实…Ⅱ.①高…Ⅲ.①互联网络一情报检索Ⅳ,①G354.4 中国版本图书馆CIP数据核字(2015)第086511号 责任编辑:焦虹李晔 封面设计:傅瑞学 责任校对:徐俊伟 责任印制:杨艳 出版发行:清华大学出版社 tie:http://www.tup.comcn,http://www.wqbook.com 地 址:北京清华大学学研大厦A座 邮编:100084 杜总机:010-62770175 邮购:010-6278654 投稿与读者服务:010-62776969,c-service@tup.tsinghua.edu.cn 质量反馈:010-6272015,zhiliang@tup.tsinghua.edu.cn 课件下載http://www.tup.com.cn,010-62795954 印装者:北京鑫海金澳胶印有限公司 经销:全国新华书店 开本:185mm×260mm 印张:15.25 字数:371千字 版次:2015年6月第1版 印次:2015年6月第1次印刷 印数:1~2000 定价:49.00元 产品编号:062546-01 Preface 序言 云计算、智慧城市、移动互联网、大数据与物联网已经成为大数据时 代的前瞻技术,实现了人、机器与实物的多维互联互通,监测数据、内容 数据、社交数据、关系数据裂变式增长,大数据时代全方位地到来。大数 据具有多(体量大)、快(生成速度快)、好(价值大)、省(高效)的特征,传 统的信息搜索、数据挖掘与知识呈现理论技术难以满足当下多样化的需 求。大数据的理念与理论已经成为了人所共知的科学常识,但是大数据 搜索、挖掘与可视化等落地的工程实践尚有较大距离,也是当下的工程 急需。 本书从分布式大数据搜索、日志挖掘与可视化三个角度出发,以非 结构化文本信息、半结构化的日志数据为处理对象,进行宏观解决方案 与微观方法技巧全面阐释。具体地说,如何利用在全文检索开源软件 Lucene之上的 Elasticsearch对大数据进行分布式计算与全文检索;如 何利用 Logstash对日志文件智能分析与处理;如何利用Web接口 Kiana对日志进行高效的搜索、可视化、分析等各种操作是,是本书的 论述重点。 从工程实践的角度掌握 Elasticsearch、 Logstash、 Kiana的基本使 用方法和技巧,很有必要。目前,国内专门针对 ElasticSearch、 Logstash、 Kiana进行介绍的书很少,本书是目前国内较早的一本综合 介绍EIK架构的编著,涉及范围广泛,内容新颖,条理清晰,组织合理。 高凯老师是我多年的朋友,我们都在大数据搜索与挖掘方向上从事 教学、科研与开发工作。高凯博士严谨的治学态度、理论联系实际的做 法以及敬业的态度也一直为我所学习。非常荣幸能够有这个机会来为 高老师的新著作序,认真拜读后,我以为本书实战性很强,是大数据搜索 与挖掘所需的上乘之作,是大数据“知著、见微、晓意”的必备工具,值得 推荐! 2015.5.5 (张华平博士,副教授,北京理工大学大数据搜索挖掘实验室主任, ICTCLAS及 NLPIR分词软件发明者) Foreword 前官 建立在分布式系统之上的大数据搜索与挖掘应用,是当今IT业的 研究与工程实践热点之一。在 DB-Engines公布的2015年度最受欢迎 的数据库系统中, Elasticsearch名列前茅。作为开源分布式检索与数 据处理平台, Elasticsearch不仅仅是一个数据库,它还是一个基于 Lucene构建的开源、分布式、 RESTfuL信息检索框架。基于 Elasticsearch+ Logstash+ Kiana的信息处理架构,为编程人员提供了 种分布式可扩展的信息存储和全文检索机制以及基于 Logstash的日 志处理机制、基于 Kiana的挖掘结果可视化机制。它不仅能对海量规 模的数据完成分布式索引与检索,还能提供数据聚合分析和可视化。因 此,从实战的角度掌握 Elasticsearch、 Logstash、 Kiana的基本使用方法 和技巧,很有必要。 大数据这个术语的出现,大概可追溯到基于 Lucene的 Apache开 源项目 Nutch。从2009年开始,大数据开始成为互联网行业的流行词 汇,也吸引了越来越多的关注。物联网、云计算、移动互联网、手机与平 板电脑、PC以及遍布各个角落的各种各样的传感器,无一不是大数据的 来源方或承载方。可以说,大数据就在我们身边。从阿里巴巴、1号店、 京东商城等电子商务数据,到QQ等即时聊天内容,再到 Google、Bing、 百度,又到社会网络与微博、微信等,都在生产、承载着大数据。随着信 息处理量的增大,对大数据的分布式存储、快速搜索与挖掘显得特别必 要。例如,挖掘用户的行为习惯和喜好,从凌乱纷繁的大数据背后找到 符合用户兴趣和习惯的产品和服务,并对产品和服务进行有针对性的调 整和优化,本身就蕴含着巨大的商机。但是,传统的基于关系型数据库 管理系统的方法,在高效处理大数据时显得有些力不从心。虽然开源的 全文检索工具 Lucene能处理非结构化和半结构化的信息,但其某些版 本在分布式处理方面的不足限制了它在大数据方面的应用。我们希望 找到一个快速的分布式信息检索解决方案,希望它是一个零配置和易于 上手的全文检索模式,希望它能够简单地使用JSON通过HTTP索引 数据,更希望它支持分布式处理并支持系统扩展,能够实时搜索,并且稳 定、可靠 实战 Elasticsearch、 Logstash、 Kiana-—一分布式大数据搜索与日志挖掘及可视化解决方案 Elasticsearch是一个基于 Lucene的开源分布式信息检索架构和全文搜索工具。 构建在 Elasticsearch基础上的日志处理工具 Logstash和信息可视化组件 Kiana,能 有效衔接并高效处理由 Elasticsearch索引的分布式数据,三者优势互补,各司其职,共 同完成网络大数据分布式存储、倒排索引、全文检索、Web日志处理、挖掘结果可视化 这一整套的信息处理流程。目前,国内这方面的资料很少,仅有的几部译著所提及的 Elasticsearch版本较低,且没有任何有关 Logstash和 Kiana的书籍。因此,我们萌发 了一个想法,将 Elasticsearch、 Logstash、 Kiana(统称为ELK)联袂奉献给广大软件开 发者,帮助他们尽快熟悉ELK架构,并构建自己的Web应用程序,完成对分布式信息 的检索与分析工作 本书强调实践,內容新颖,条理清晰,组织合理。通过实战讲解的方式,让读者更 好地了解EIK架构的实现细节。全书内容涵盖ELK简介、文档索引与处理、信息检 索与过滤、信息统计与分析、基于Java客户端的 Elasticsearch功能实现、 Elasticsearch 配置与管理、基于 Logstash的网络日志处理、基于 Kiana的分析结果可视化、应用实 例等多个部分。 全书由高凯提出写作大纲,第1章和第6章由高凯撰写并完成全书通稿和审校工 作,其余各章均由高莘撰写,其中,第1章概述 Elasticsearch、 Logstash、 Kiana的主要 功能,对涉及到的一些概念进行简介,并从实用的角度出发,通过对实例的讲解,介绍 索引、检索的实现机制;第2章对 Elasticsearch中的索引、映射等进行说明;第3章介 绍 Elasticsearch中的检索功能;第4章介绍基于 Facets、 Aggregations的数据聚合与 统计功能;第5章从工程实践的角度,介绍面向Java客户端的 Elasticsearch部分功能 的设计与实现;第6章介绍 Elasticsearch的配置及一些高级功能、监控等的使用;第 章介绍日志处理及 Logstash的应用;第8章介绍基于 Kiana的可视化技术;第9章给 出一个综合应用实例,该实例从网页采集、处理、存储、索引、日志处理、可视化展示等 入手,介绍了基于ELK的分布式信息检索与日志挖掘解决方案。 本书的顺利完成也得益于参阅了大量的相关工作及研究成果,部分内容源自 Elasticsearch、 Logstash、 Kiana的官方文档。在写作过程中,也参考了相关文献和互 联网上众多热心网友提供的素材,在此谨向这些文献的作者、热心网友以及为本书提 供帮助的老师,特别是那些由于篇幅所限未及在参考文献中提及的相关文献的作者和 网站,致以诚挚的谢意和崇高的敬意 由于我们的学识、水平均有限,书中不妥之处在所难免,恳请广大读者批评指正。 编者 2015年5月 Contents 、目录 第1章概述…………… 1.1 Elasticsearch的安装与简单配置 1.2走近 Elasticsearch…………………… 1.2.1 Elasticsearch是什么 1.2.2 Elasticsearch中涉及到的相关概念含……… 1.2.3 Elasticsearch api的简单使用方式… 1.2.4 Elasticsearch rte版本中的部分插件简介…… ++世 10 1.2.5 Elasticsearch基本架构… 12 1.3 Elasticsearch索引及其构建 13 1.3.1概述 13 1.3.2借助Head工具构建索引…………………………13 1.3.3 Mapping简述… 15 1.4信息检索及其构建…… 15 5实例 16 1.6扩展知识与阅读… 21 1.7本章小结…… 市想曾+分+++“““书和日和 ……22 第2章文档索引及管理 23 2.1文档索引概述…… …………………………23 2.2建立索引……………………………………………………24 2.3通过映像 Mapping配置索引……… 2.3.1在索引中使用映像 28 2.3.2管理/配置映像 ∴…………………………………29 2.3.3获取映像信息 30 2.3.4删除映像 31 2.4管理索引文件 ·…·:.:·::::::*::++-““““+.·.· 31 2.4.1打开、关闭、检测、删除索引文件 31 2.4.2清空索引缓存… 32 2.4.3刷新索引数据…………… 32 Ⅵ实战 Elasticsearch、 Logstash、 Kiana——分布式大数据搜索与曰志挖掘及可视化解决方案 2.4.4优化索引数据 …………………………………………32 2.4.5 Flush操作 33 2.5设置中文分词器 33 2.6对文档的其他操作………………………………………………34 2.6.1获取指定的文档信息… 34 2.6.2删除文档中的信息 36 2.6.3数据更新 …………36 2.6.4基于POST方式批量获取文档……………………………………39 2.6.5删除部分文档 +++鲁++世曾世世曾tttt量世世t世世t首面面如 ……40 2.7扩展知识与阅读……………………………………………………………………40 2.8本章小结… …4…41 第3章信息检索与结果过滤………………………………………………………………………42 3.1实验数据集描述 42 3.2简单检索… ………………………………………………………………44 3.3基本检索…………………………………………………………………45 3.3.1设置不同字段的排序权重… 45 3.3.2指定返回的字段子集……………………………………………………46 3.3.3Term查询、 Terms查询、 Wildcard通配符查询……………………48 3.3.4 Match、 Match all、 Match phrase查询… 49 3.3.5 Query_ string查询…… 50 3.3.6 Prefix、 Range查询… ………51 3.3.7 More like this、 Fuzzy like this查询…………52 3.3.8跨字段检索 ±世 54 3.4 Filter概述…………………………………………………………………………………54 3.5常用 Filter及其应用… 56 3.5.1 And Filter X Or Filter ………56 3.5.2 Bool filter…………………………………………………………………57 5.3 Exists filter和 Missing Filter……………………………………………57 3.5.4 Type Filter… 58 3.5.5 Match all Filter………… 58 3.5.6 Not filter……… 9 3. 5. 7 Query Filter 59 3.6复合查询 3.7结果排序………… 62 3.8扩展知识与阅读… 库暮 …63 3.9本章小结 …………………………63 目录Ⅶ 第4章信息统计分析与搜索提示 64 4.1 Facets概述……………………………………………………………………64 4.2各种不同的 Facets统计……………… ..:.44+“““+“+·++·++::x· 66 4.2.1 Terms facets:指定字段的分布情况统计… 66 4.2.2 Range Facets:在某个范围的分布情况统计 70 4.2.3 Histogram Facets……………………………………………… 72 4.2.4 Date histogram Facets……………… 75 4.2.5 Statistical Facets………………11,,, 4.2.6 Terms stats Facets……… 7 4.3 Aggregations ………………………………80 4.3.1概述 80 4.3.2最值、求和、均值统计… 自a“和。“,., …………82 4.3.3 Stats Aggregations及 Extended Stats Aggregations……………84 4.3.4 Terms Aggregations…………………………………………………85 4.3. 5 Range Aggregations ………………………………89 4.3.6 Date range Aggregations……… ……………92 4.3.7 Histogram Aggregations………………………………… 93 4.3.8 Date histogram Aggregations …96 4.3.9 Filter Aggregations ““““““““+““+··++·" 98 4.3.10 Missing aggregations…… 新++“ 4.4搜索提示……………………………………………………………………101 4.5扩展知识与阅读…… ……………102 4.6本章小结… 102 第5章 Elasticsearch部分功能的Java客户端实现 103 5.1 Elasticsearch节点实例化 ·..··.“““4“““““““4+++++++-:: 5.1.1通过 Maven添加对El asticsearc h依赖……………………………103 5.1.2初始化 Elasticsearch client…………………………… 5.2索引数据… ………………………………107 5.2.1准备JSON数据 ……107 5.2.2索引JSON数据 108 5.3对索引文档的操作…… 110 5.3.1获取索引文档 …………………………………………110 5.3.2删除索引文档… 5.3.3更新索引文档 112

...展开详情
试读 127P 实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 签到新秀

关注 私信
上传资源赚钱or赚积分
最新推荐
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯 46积分/C币 立即下载
1/127
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第1页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第2页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第3页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第4页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第5页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第6页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第7页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第8页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第9页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第10页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第11页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第12页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第13页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第14页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第15页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第16页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第17页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第18页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第19页
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案 elk _PDF电子书下载 高清 带书签_高凯第20页

试读结束, 可继续阅读

46积分/C币 立即下载 >