Storm技术内幕与大数据实践
作者:陈敏敏,王新春,黄奉线
出版社:人民邮电出版社
ISBN:9787115388537
VIP会员免费
(仅需0.8元/天)
¥ 31.36
温馨提示: 价值40000元的1000本电子书,VIP会员随意看哦!
电子书推荐
-
storm分布式实时计算模式 评分:
Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新版本是Storm 0.8.0,基本是用Clojure写的。
上传时间:2017-09 大小:40.74MB
- 1.33MB
细细品味Storm_Storm简介及安装
2017-11-16Storm分布式实时计算模式由Apache Storm 项目核心贡献者吉奥兹、奥尼尔亲笔撰 写,融合了作者丰富的Storm实战经验,通过大量示例,全面而系统地讲解使用Storm进行分布式实 时计算的核心概念及应用,并针对不同的应用...
- 1.28MB
漫谈大数据第四期-storm
2013-11-06Twitter将Storm正式开源了,这是一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Eclipse Public License 1.0。Storm是由BackType开发的实时处理系统,BackType现在已在Twitter麾下。GitHub上的最新...
- 77KB
Storm常见模式
2021-01-30Storm常见模式——分布式RPC 分布式RPC(distributedRPC,DRPC)用于对Storm上大量的函数调用进行并行计算过程。对于每一次函数调用,Storm集群上运行的拓扑接收调用函数的参数信息作为输入流,并将计算结果作为输出...
- 3.46MB
fintank:使用Storm,Kafka,InfluxDB,Graphana,ooh和Python进行实时市场数据和投资组合订单处理的体系结构POC!
2021-05-14使用持久性msg队列(Kafka),分布式实时计算系统(Storm w / python streamparse)和时间序列数据库(influxdb)的实时报价和交易的体系结构模式。 举例说明:我们的Storm拓扑的一部分从ticks Kafka主题中读取...
- 215KB
大数据离线计算.pdf
2022-12-24⼤数据离线计算 离线计算概述 所谓⼤数据离线计算,就是利⽤⼤数据的技术栈(主要是Hadoop),在计算开始前准备好所有输⼊数据,该输⼊数据不会产⽣变化,且 在解决⼀个问题后就要⽴即得到计算结果的计算模式。...
- 2.95MB
storm-trident:《风暴蓝图》
2021-03-24三叉戟《风暴蓝图:分布式实时计算模式》一书的源码和翻译=============(已完成,待校对)(未开始)(已完成,待校对)(已完成,待校对)(未开始)(未开始)(进行中)(未开始)(未开始)(未开始)
- 743KB
基于Hadoop的煤矿数据中心架构设计
2020-04-18采用Storm实时数据流引擎进行数据实时计算,并应用MapReduce、Spark实现批处理计算和内存计算,解决高频时序数据存储与海量数据计算问题;采用Hadoop分布式文件系统(HDFS)实现文件的可靠存储,并采用HBase分布式...
- 2.43MB
大数据云计算在能源行业思考(甲骨文(中国).pdf
2021-05-20大数据的主要技术 ...• 大数据计算模式 – 大数据查询分析计算(Hive)、批处理(MapReduce)、流式计算(Storm)、迭代 计算(Hadoop)、图计算(Pregel)、内存计算(HANA、SPARK) • 大数据的可视化 • 大数据的安全
- 1.93MB
Spark和Hadoop的集成
2015-05-07Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。Storm是一个分布式的、容错的实时计算系统。两者整合,优势互补。
- 1.26MB
FusionInsightHD华为大数据平台.pdf
2022-12-24FusionInsightHD华为⼤数据平台 华为FusionInsight HD是⼀个... Spark 基于内存进⾏计算的分布式计算框架。在迭代计算的场景下,数据处理过程中的数据可以存储在内存中,提供了⽐MapReduce⾼10到 100倍的计算能⼒。Spa
- 576KB
大数据技术概述.pdf
2022-12-24⼤数据计算模式 不同的计算模式需要使⽤不同的产品。第⼀个批处理,MapReduce和Spark⾯向批处理。第⼆个流计算,流数据像溪⽔⼀样不断到达,每 次量可能不⼤,但是会连续不断的到达。流数据要求实时处理,给出实时...
- 202KB
大数据概述——精选推荐.pdf
2022-12-24⼤数据计算模式: ⼤数据计算 模式 解决问题 代表产品 批处理计算 针对⼤规模数据的批量处理 MapReduce、Spark等 流计算 针对流数据的实时计算 Storm、S4、Flume、Streams、Puma、DStream、SuperMario、银河流 数据...
- 43KB
软件技术《行业标准-人工智能》.doc
2023-02-27目前流行的分布式计算框架如 OpenStack、Hadoop、Storm、Spark、Samza、Bigflow 等。各种开源深度学 习框架也层出不穷,其中包括 TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、 Leaf、Theano、DeepLearning4、...
- 30KB
大数据与Hadoop.doc
2022-12-24大数据与Hadoop 作者:朱立 来源:《中国科技... 2.2 Hadoop的特点 作为分布式计算领域的典型代表,Hadoop比其他分布式框架有更多的优点。 可扩展性:Hadoop可以在不停止集群服务的情况下,在可用的计算机集簇间分 配
- 5.54MB
大数据分析一体机.pptx
2022-12-249 传统并行计算架构 并行计算 + 分布式存储 运算 存储 传统存储架构 计算与存储一体,计算向数据靠拢,高效专用存储模式 为程序员屏蔽通性、并发、同步与一致性等问题 任务之间无依赖(share-nothing),具有高系统...
- 3.81MB
数据分析方法与技术.pptx
2022-12-23的S4) Spark(基于内存的分布式计算) 大数据技术: 数据采集:ETL工具 数据存取:关系数据库;NoSQL;SQL 基础架构支持:云存储;分布式文件系统 计算结果展现:云计算;标签云;关系图 数据分析方法与技术全文共...
- 13.23MB
leetcode下载-learn-git:少即是多
2021-06-29分布式计算平台 Scrapy Linux 下开发 NginX tomcat Rabbitmq WSGI 缓存 消息队列MQ 负载均衡LB memcached 网络协议 TCP HTTP 容器化与分布式 熟悉python web项目的自动化部署 Docker python 后台django + vue前台 + ...
- 938KB
大数据的基础知识.pdf
2022-12-244 Storm Storm⽤于"连续计算",对数据流做连续查询,在计算时就将结果以流的形式输出给⽤户。 5 Spark Spark是当前最流⾏的开源⼤数据内存计算框架。可以基于Hadoop上存储的⼤数据进⾏计算。 6 Oozie Oozie是⼀个...
- 516KB
大数据架构师应该做到的.pdf
2022-12-246)Stream procressing(流式计算) Storm(实时数据处理分析) Kafka(分布式发布订阅消息系统) 拖放可视化设计,开发,部署和管理流式数据分析应⽤程序 进⾏事件关联,上下⽂衔接,复杂模式匹配,分析聚合以及创建警报/...
- 177KB
kafka知识总结
2021-01-07Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 2.流式计算? 大体包括storm、 sparkStreaming 、flink storm:来一条数据,处理一条,实时性好 sparkStreaming :微批处理,延迟...
- 23.16MB
公安大数据整体建设方案.pdf
2019-08-07公安大数据整体建设方案
- 79KB
日志监控系统源码
2019-04-17日志监控告警系统的设计与实现,基于的日志进行监控,监控需要一定规则,对触发监控规则的日志信息进行告警,告警的方式,是短信和邮件。
- 279KB
用户画像实战应用.pdf
2019-11-25用户画像?听起来很简单啊!不就是用户的性别,年龄,身高体重,学历收入,家庭 住址,消费积分,登陆访问一类的指标吗!列一堆数就行了,我们的客户男性比例40%, 年龄35岁以下占比50%,本科占比30%,个人月收入5000以上占比60%,未婚比例50%,月 均消费3500元,最长购买的三种组合是AB,AC,BC,每天8点是登陆高峰,你看看,我 才干了1个月数据分析就做出了这么全面的用户画像!我多厉害!写报告的时候我还贴了两 个典型用户的照片呢,好崇拜我自己。还有什么好聊的?
- 6.17MB
流处理框架Stream Processing with Apache Flink.zip
2019-05-28现在大数据处理里面比较公认的流处理框架,Stream Processing with Apache Flink;
- 2.46MB
最简单的概念入门大数据ppt
2019-04-07大数据详情简介,可以说是入门大概的了解大数据,很好的掌握概念
- 42.31MB
基于python开发的企业名录查询软件v3.2.1下载
2021-04-22这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术,可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里,可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
- 42.9MB
基于python开发的中国工商企业数据库免费软件v2.3.5下载
2021-04-26这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术,可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里,可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
- 42.31MB
基于python开发的外贸数据爬虫系统v5.0下载
2021-04-22这是基于python爬虫技术编程写的外贸数据爬虫系统,实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
- 25.16MB
购物数据流处理+可视化实时数据大屏.rar
2020-01-02整个项目主要实现了从模拟生成购物数据,到通过kafka传输数据,到通过storm的高级事务处理trident来进行实时流数据处理,最后,将实时生成的统计数据进行实时的可视化,生成类似天猫双十一实时数据大屏的可视化效果
- 786KB
大数据实时数据采集架构
2020-11-13大数据实时数据采集架构