下载 >  开发技术 >  其它 > 廖晓格:让大数据更实时和可视化
4

廖晓格:让大数据更实时和可视化

该文档来自于携程资深软件工程师廖晓格,在2014中国大数据技术大会大数据技术分论坛的演讲“让大数据更实时和可视化”。
2014-12-18 上传大小:2.29MB
想读
分享
收藏 (24) 举报

评论 共13条

jimmysfu 正是我需要的大数据学习资料,如获至宝
2016-05-25
回复
baidu_16073933 值得参考,学习一下
2015-11-21
回复
jefforify 还不错,看完受益匪浅。
2015-06-25
回复
可视化——让大数据触手可及

可视化——让大数据触手可及 袁晓如

立即下载
Spark快速大数据分析+高清+目录+源码

《Spark快速大数据分析》由 Spark 开发者及核心成员共同打造,讲解了网络大数据时代应运而生的、能高效迅捷地分析处理数据的工具——Spark,它带领读者快速掌握用 Spark 收集、计算、简化和保存海量数据的方法,学会交互、迭代和增量式分析,解决分区、数据本地化和自定义序列化等问题。

立即下载
大数据可视化解决方案可运行Demo

大数据可视化案例可运行demo;大屏数据可视化;案例程序可运行;

立即下载
稳定性的数学理论及应用 第二版 廖晓

稳定性的数学理论及应用 第二版 廖晓昕

立即下载
基于Spark的大数据分析平台的设计与实现

数据分析实现采用Scala编程语言进行实现,通过Spark SQL进行对数据的处理,并把结果存储到MySQL中,最后通过数据可视化技术把数据展示出来

立即下载
大数据搜索与日志挖掘及可视化方案

大数据搜索与日志挖掘及可视化方案——ELK Stack:Elasticsearch Logstash Kibana(第2版).高凯(详细书签).pdf

立即下载
大数据搜索与日志挖掘及可视化方案(第2版) 完整PDF

对大数据的搜索与挖掘,在当今的“互联网+”时代是很有必要的。本书提出的分布式大数据搜索与日志挖掘及可视化方案是基于ELK Stack而提出的,它能有效应对海量大数据所带来的分布式存储与处理、全文检索、日志挖掘、可视化等问题。构建在全文检索开源软件Lucene之上的Elasticsearch,不仅能对海量规模的数据完成分布式索引与检索,还能提供数据聚合分析。据国际权威的数据库产品评测机构DB-Engines的统计,在2016年1月,Elasticsearch已超过Solr等,成为排名第一的搜索引擎类应用;Logstash能有效处理来源于各种数据源的日志信息;Kibana能得出可视化分析结果。了解基于ELK Stack的大数据搜索与日志挖掘及可视化方案,掌握Elasticsearch、Logstash、Kibana的基本使用方法和技巧,很有必要。

立即下载
【就业课】大数据项目实战
大数据搜索与日志挖掘及可视化方案——ELK Stack:Elasticsearch Logstash Kibana(第2版).高凯(带详细书签) PDF 下载

大数据的搜索与挖掘,在当今的“互联网+”时代是很有必要的。本书提出的分布式大数据搜索与日志挖掘及可视化方案是基于ELK Stack而提出的,它能有效应对海量大数据所带来的分布式存储与处理、全文检索、日志挖掘、可视化等问题。构建在全文检索开源软件Lucene之上的Elasticsearch,不仅能对海量规模的数据完成分布式索引与检索,还能提供数据聚合分析。据国际权威的数据库产品评测机构DBEngines的统计,在2016年1月,Elasticsearch已超过Solr等,成为排名第一的搜索引擎类应用;Logstash能有效处理来源于各种数据源的日志信息;Kibana能得出可视化分析结果。了解基于ELK Stack的大数据搜索与日志挖掘及可视化方案,掌握Elasticsearch、Logstash、Kibana的基本使用方法和技巧,很有必要。 全书以模块化的方式进行组织。和第一版相比,本书力求反映ELK Stack的最新成果,内容新颖、强调实践。本书也可为高等学校相关专业(如计算机科学与技术、软件工程、物联网、信息管理与信息系统)学生的学习和科研工作提供帮助,同时对于从事大数据搜索与挖掘、日志分析、信息可视化技术的工程技术人员和希望了解网络信息检索技术的人员也具有较高的参考价值和工程应用价值。 第1章 概述 1.1 Elasticsearch的安装与简单配置 1.2 走进Elasticsearch 1.2.1 相关概念 1.2.2 Elasticsearch API的简单使用方式 1.2.3 部分插件简介 1.2.4 Elasticsearch基本架构 1.3 Elasticsearch索引及其构建 1.3.1 概述 1.3.2 借助Head工具构建索引 1.3.3 Mapping简述 1.4 信息检索及其构建 1.5 中文分词插件 1.6 实例 1.7 扩展知识与阅读 1.8 本章小结 第2章 文档索引及管理 2.1 文档索引概述 2.2 建立索引 2.3 通过映像Mapping配置索引 2.3.1 在索引中使用映像 2.3.2 管理/配置映像 2.3.3 获取映像信息 2.3.4 删除映像 2.4 管理索引文件 2.4.1 打开、关闭、检测、删除索引文件 2.4.2 清空索引缓存 2.4.3 刷新索引数据 2.4.4 优化索引数据 2.4.5 flush操作 2.5 设置中文分词器 2.6 对文档的其他操作 2.6.1 获取指定的文档信息 2.6.2 删除文档中的信息 2.6.3 数据更新 2.6.4 基于POST方式批量获取文档 2.6.5 删除部分文档 2.7 实例 2.8 扩展知识与阅读 2.9 本章小结 第3章 信息检索与结果过滤 3.1 实验数据集描述 3.2 简单检索 3.3 基本检索 3.3.1 设置不同字段的排序权重 3.3.2 指定返回的字段子集 3.3.3 term查询、terms查询、wildcard通配符查询 3.3.4 match、match_all、match_phrase查询 3.3.5 query_string查询 3.3.6 prefix、range查询 3.3.7 more_like_this、fuzzy_like_this查询 3.3.8 跨字段检索 3.4 filter概述 3.5 常用filter及其应用 3.5.1 and filter及or filter 3.5.2 bool filter 3.5.3 exists filter和missing filter 3.5.4 type filter 3.5.5 match all filter 3.5.6 not filter 3.5.7 query filter 3.6 复合查询 3.7 结果排序 3.8 实例 3.9 扩展知识与阅读 3.1 0本章小结 第4章 信息统计分析与搜索提示 4.1 facets概述 4.2 各种不同的facets统计 4.2.1 terms facets:指定字段的分布情况统计 4.2.2 range facets:在某个范围的分布情况统计 4.2.3 histogram facets 4.2.4 date_histogram facets 4.2.5 statistical facets 4.2.6 terms_stats facets 4.3 aggregations 4.3.1 概述 4.3.2 最值、求和、均值统计 4.3.3 stats aggregation及extended stats aggregation 4.3.4 terms aggregations 4.3.5 range aggregations 4.3.6 date_range aggregations 4.3.7 histogram aggregations 4.3.8 date_histogram aggregations 4.3.9 filter aggregations 4.3.10 missing aggregations 4.4 搜索提示 4.5 实例 4.6 扩展知识与阅读 4.7 本章小结 第5章 Elasticsearch部分功能的Java客户端实现 5.1 Elasticsearch节点实例化 5.1.1 通过Maven添加对Elasticsearch依赖 5.1.2 初始化Elasticsearch Client 5.2 索引数据 5.2.1 准备json数据 5.2.2 索引json数据 5.3 对索引文档的操作 5.3.1 获取索引文档 5.3.2 删除索引文档 5.3.3 更新索引文档 5.3.4 批量操作索引文件 5.3.5 简单的统计操作 5.4 信息检索 5.4.1 概述 5.4.2 multiSearch 5.4.3 Query DSL概述 5.4.4 matchQuery 5.4.5 matchAllQuery 5.4.6 multiMatchQuery 5.4.7 boolQuery 5.4.8 termQuery 5.4.9 wildcardQuery 5.4.10 queryString 5.4.11 moreLikeThis 5.4.12 filter概述 5.4.13 termFilter 5.4.14 existsFilter 5.4.15 matchAllFilter 5.4.16 queryFilter 5.4.17 rangeFilter 5.4.18 typeFilter 5.4.19 过滤器间的组合:boolFilter、notFilter、orFilter、andFilter 5.5 统计分析 5.5.1 facets 5.5.2 aggregations 5.6 对检索结果的进一步处理 5.6.1 控制每页的显示数量及显示排序依据 5.6.2 基于Scroll方法的检索结果及其分页 5.6.3 高亮显示检索词 5.7 实例 5.7.1 连接Elasticsearch 5.7.2 信息采集与索引构建 5.7.3 搜索模块的实现 5.7.4 推荐模块的实现 5.8 扩展知识与阅读 5.9 本章小结 第6章 Elasticsearch配置与集群管理 6.1 Elasticsearch部分基本配置及其说明 6.2 提高索引和查询效率的策略 6.3 监控集群状态 6.4 控制索引分片与副本分配 6.5 集群管理 6.6 扩展知识与阅读 6.7 本章小结 第7章 基于Logstash的日志处理 7.1 概述 7.2 input:处理输入的日志数据 7.2.1 处理基于file方式输入的日志信息 7.2.2 处理基于generator产生的日志信息 7.2.3 处理基于log4j的日志信息 7.2.4 处理基于redis的日志信息 7.2.5 处理基于stdin方式输入的信息 7.2.6 处理基于TCP传输的日志数据 7.2.7 处理基于UDP传输的日志数据 7.3 codecs:格式化日志数据 7.3.1 json格式 7.3.2 rubydebug格式 7.3.3 plain格式 7.4 基于filter的日志处理与转换 7.4.1 json filter 7.4.2 grok filter 7.4.3 kv filter 7.5 output:处理输出的日志数据 7.5.1 将处理后的日志输出到Elasticsearch中 7.5.2 将处理后的日志输出至文件中 7.5.3 将处理后的部分日志输出到csv格式的文件中 7.5.4 将处理后的日志输出到redis中 7.5.5 将处理后的部分日志通过UDP协议输出 7.5.6 将处理后的部分日志通过TCP协议输出 7.5.7 将收集到的日志信息传输到自定义的HTTP接口中 7.6 扩展知识与阅读 7.7 本章小结 第8章 基于Kibana的数据分析可视化 8.1 安装Kibana 8.2 Kibana概述 8.2.1 在仪表盘上添加新行 8.2.2 在行中添加新面板 8.2.3 设置Query和Filtering 8.3 常用面板类型 8.3.1 histogram 8.3.2 table 8.3.3 map和bettermap 8.3.4 terms 8.3.5 text 8.3.6 sparklines 8.3.7 trends 8.4 网站性能监控可视化应用的设计与实现 8.4.1 概述 8.4.2 Page View 8.4.3 响应/请求时间 8.4.4 流量走势与统计 8.4.5 状态码监控 8.4.6 UA行 8.5 Kibana V4简介 8.5.1 新建视图 8.5.2 建立Dashboard 8.5.3 配置 8.6 扩展知识与阅读 8.7 本章小结 第9章 网络信息检索与分析实践 9.1 信息采集 9.2 基于Python的信息检索及Web端设计 9.2.1 安装Python及Django 9.2.2 安装Elasticsearch的Python插件 9.2.3 Web页面设计 9.3 基于Logstash的日志处理 9.3.1 安装和配置Nginx 9.3.2 设计面向日志文件的模式 9.3.3 在Logstash中进行相关配置 9.4 基于Kibana的日志分析结果可视化设计与实现 9.4.1 图表1:状态码走势分析 9.4.2 图表2:查询词分析 9.4.3 图表3:分析各状态码随时间的变迁情况 9.4.4 集成上述图表 9.5 扩展知识与阅读 9.6 本章小结 参考文献 封底

立即下载
离线和实时大数据开发实战

本书从实际项目实践出发,专注、完整、系统化地讲述数据开发技术,此处的数据开发技术包括离线数据处理技术、实时数据处理技术、数据开发优化、大数据建模、数据分层体系建设等。

立即下载
Druid实时大数据分析(完整版)

Druid生态正在不断完善,现在处于非常发达时期,也正在解决越来越多的业务场景。多位大数据从业者强烈推荐。

立即下载
实时分析-分析和可视化流数据的技术

Real-Time Analytics: Techniques to Analyze and Visualize Streaming Data 实时分析-分析和可视化流数据的技术.pdf 包括Storm、samza、kafaka、flume等技术.

立即下载
大数据白皮书

大数据时代的到来,让更多人关注大数据的技术和应用领域,这份资料告诉你大数据的运用领域。

立即下载
爱奇艺大数据实时流统计实战

课程介绍 Spark Streaming实时流处理项目实战 本课程以爱奇艺视频实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战,一套代码让你掌握实时处理的整套处理流程,快速进去企业实战! 课程目录 第01节爱奇艺实时统计的一个概述 第02节生成环境中日志产生的一个描述 第03节项目使用的技术点以及开发对应的流程顺序 第04节互联网访问日志概述 第05节日志的真实数据介绍并且讲解对应的栏目的log样式 第06节脚本生成Log日志方式下 第07节通过linux自带的定时器定时生成日志 第08节启动和配置flum kafka 第09节开发环境搭建 第10节flume和kafka和SparkStreaming联通和测试 第11节数据库的介绍和选择 第12节启动hdfs和zk和hbase并且创建hbase表 第13节写一个操作Hbase的工具类操作HBase增加 第14节项目时间工具的实现 第15节根据条件对产生的实时流做数据清洗并且封装成类 第16节项目中的DAO操作Hbae的增加和查询并且可以分批保存和测试 第17节保存手机的数据累加到Hbase中 第18节功能二的DAO增和查询的实现 第19节功能二处理业务逻辑保存到hbase数据库里面 第20节项目运行在真实的生成环境上面 第21节项目中spark脚本的编写和运行 第22节数据可视化只为什么要可视化 第23节数据可视化之web页面的搭建 第24节数据可视化之第一个springboot应用程序 第25节数据可视化之echart的介绍和使用范围 第26节数据可视化之springboot创建web应用并返回html页面 第27节数据可视化之springboot继承echart的页面 第28节数据可视化之springboot替换成生成中的饼图 第29节数据可视化之HBase数据访问的工具类开发 第30节数据可视化之DAO数据访问层开发 第31节数据可视化之展示层页面逻辑处理 第32节数据可视化之ajax请求数据页面展示 第33节数据可视化代码运行在生成服务器中 第34节项目在服务器上面运行流程与过程

立即下载
实战Elasticsearch、Logstash、Kibana 分布式大数据搜索与日志挖掘及可视化解决方案_PDF电子书下载 高清 完整

自己网上花钱买的,共享出来,3分很实惠的,需要的拿走

立即下载
大数据可视化UI样例html Demo

大数据 big data 可视化UI样例html Demo,可提取样式、布局、控件等。

立即下载
基于大数据分析的实时风控体系

基于大数据的风险控制理念、架构、模型、策略与核心模块介绍。

立即下载
最新大数据Spark实时流统计实战

爱奇艺实时统计的一个概述 生成环境中日志产生的一个描述 项目使用的技术点以及开发对应的流程顺序 互联网访问日志概述 日志的真实数据介绍并且讲解对应的栏目的log样式 脚本生成Log日志方式下 通过linux自带的定时器定时生成日志 启动和配置flum kafka 开发环境搭建 flume和kafka和SparkStreaming联通和测试 数据库的介绍和选择 启动hdfs和zk和hbase并且创建hbase表 写一个操作Hbase的工具类操作HBase增加 项目时间工具的实现 根据条件对产生的实时流做数据清洗并且封装成类 项目中的DAO操作Hbae的增加和查询并且可以分批保存和测试 保存手机的数据累加到Hbase中 功能二的DAO增和查询的实现 功能二处理业务逻辑保存到hbase数据库里面 项目运行在真实的生成环境上面 项目中spark脚本的编写和运行 数据可视化只为什么要可视化 数据可视化之web页面的搭建 数据可视化之第一个springboot应用程序 数据可视化之echart的介绍和使用范围 数据可视化之springboot创建web应用并返回html页面 数据可视化之springboot继承echart的页面 数据可视化之springboot替换成生成中的饼图 数据可视化之HBase数据访问的工具类开发 数据可视化之DAO数据访问层开发 数据可视化之展示层页面逻辑处理 数据可视化之ajax请求数据页面展示 数据可视化代码运行在生成服务器中 项目在服务器上面运行流程与过程

立即下载
大数据实时处理架构实践

基于Spark streaming 的实时系统架构:多个流的处理、持久化offset、离线纠正数据、快速失败重启,报警,人工介入、基于kafka-offset的无状态系统

立即下载
大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana.pdf

大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana大数据搜索与日志挖掘及可视化方案--ELK+Stack+Elasticsearch+Logstash+Kibana

立即下载
关闭
img

spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
点击完成任务获取下载码
输入下载码
为了良好体验,不建议使用迅雷下载
img

廖晓格:让大数据更实时和可视化

会员到期时间: 剩余下载个数: 剩余C币: 剩余积分:0
为了良好体验,不建议使用迅雷下载
VIP下载
您今日下载次数已达上限(为了良好下载体验及使用,每位用户24小时之内最多可下载20个资源)

积分不足!

资源所需积分/C币 当前拥有积分
您可以选择
开通VIP
4000万
程序员的必选
600万
绿色安全资源
现在开通
立省522元
或者
购买C币兑换积分 C币抽奖
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
为了良好体验,不建议使用迅雷下载
确认下载
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
为了良好体验,不建议使用迅雷下载
VIP和C币套餐优惠
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
您的积分不足,将扣除 10 C币
为了良好体验,不建议使用迅雷下载
确认下载
下载
您还未下载过该资源
无法举报自己的资源

兑换成功

你当前的下载分为234开始下载资源
你还不是VIP会员
开通VIP会员权限,免积分下载
立即开通

你下载资源过于频繁,请输入验证码

您因违反CSDN下载频道规则而被锁定帐户,如有疑问,请联络:webmaster@csdn.net!

举报

若举报审核通过,可返还被扣除的积分

  • 举报人:
  • 被举报人:
  • *类型:
    • *投诉人姓名:
    • *投诉人联系方式:
    • *版权证明:
  • *详细原因: