下载 >  开发技术 >  Java > 使用kafka,spark,hbase开发日志分析系统

使用kafka,spark,hbase开发日志分析系统 评分:

# 日志分析系统 ## 系统架构 本使用kafka,spark,hbase开发日志分析系统。 ![architecture](/docs/images/architecture.png "architecture") ### 软件模块 * Kafka:作为日志事件的消息系统,具有分布式,可分区,可冗余的消息服务功能。 * Spark:使用spark stream功能,实时分析消息系统中的数据,完成计算分析工作。 * Hbase:做为后端存储,存储spark计算结构,供其他系统进行调用 ## 环境部署 ### 软件版本 * hadoop 版本 : Hadoop相关软件如zookeeper、hadoop、hbas e,使用的是cloudera的 cdh 5.2.0 版本。 * Kafka : 2.9.2-0.8.1.1
...展开详情收缩
2018-10-12 上传大小:232KB
分享
收藏 举报
大数据篇:flume+kafka+spark stream+hbase做日志收集
Spark+Hbase 亿级流量分析实战(日志存储设计)
kafka+sparkstreaming+hbase
spark +kafka +hbase
基于Flume+Kafka+Spark-的分布式日志流处理系统的设计与实现

基于FlumeKafkaSpark-的分布式日志流处理系统的设计与实现

立即下载
Kafka集成Spark Streaming并写入数据到HBase

使用方法: 请使用eclipse的maven导入方式导入,代码在http://blog.csdn.net/q79969786/article/details/42793487有介绍

立即下载
大数据(hadoop+spark+hbase+zookeeper+kafka+scala+ambari)全套视频教程(花3000¥买的)

大数据 hadoop spark hbase ambari全套视频教程(购买的付费视频)

立即下载
spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

亲手在Centos7上安装,所用软件列表 apache-flume-1.8.0-bin.tar.gz apache-phoenix-4.13.0-HBase-1.3-bin.tar.gz hadoop-2.7.4.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar.gz kafka_2.12-1.0.0.tgz scala-2.12.4.tar.gz scala-2.12.4.tgz spark-2.2.0-bin-hadoop2.7.tgz spark-2.2.0.tgz zookeeper-3.4.11.tar.gz

立即下载
hadoop,spark,hbase,zookeeper,kafka配置文件

hadoop,spark,hbase,zookeeper,kafka配置文件。 例如: <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. Yo

立即下载
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

立即下载
kafka、storm、flink、apex、spark五种流式大数据系统调研报告

本文主要调研了Apache Kafka、Apache Flink、Apache Storm、Apache Apex和Apache Spark Streaming五种流式大数据系统。主要的工作有:1)通过文献阅读和试用比较了它们的实现原理;2)利用了kafka自带的测试脚本进行了kafka性能测试;3)通过Hibench进行了Flink、Storm和Spark Streaming的比较测试;4)进行了Apex的简单测试;5)对以上流式大数据系统进行了总结分析。

立即下载
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark

cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建,还有自动化启动脚本。只需要复制粘贴命令,就可以完成。3台机器。相关资源可以留言发邮件,我发资料。cdh5.5.4 具体资源见截图。

立即下载
sparkstreaming-kafka开发的pom文件

<properties> <scala.version>2.10.5</scala.version> <spark.version>1.6.2</spark.version> <jackson.version>2.4.3</jackson.version> <hbase.version>1.2.0</hbase.version> </properties> 的pom文件

立即下载
大数据必备Hadoop/linux/hive/sqoop/flume/kafka/hbase/Docker/Doubbo

大数据必备Hadoop/linux/hive/sqoop/flume/kafka/hbase/Docker/Doubbo

立即下载
Hadoop(HDFS、YARN、HBase、Hive和Spark等)默认端口表

端口 作用 9000 fs.defaultFS,如:hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address,DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 dfs.namenode.secondary.http-address,如:172.25.39.166:50090

立即下载
基于Kafka+SparkStreaming+HBase某信贷实时数据采集存储

项目以宜信贷风控系统实时数据采集系统为背景,主要描述了技术架构、核心技术难点及代码实现全过程,涉及技术包括但不限于:Kafka\zookeeper,Spark,SparkStreaming,HBase,实时访问技术,爬虫技术等

立即下载
java实现SparkSteamming接受发送Kafka消息

java实现SparkSteamming接受发送Kafka消息

立即下载
企业大数据处理:Spark、Druid、Flume与Kafka应用实践

大数据技术丛书《企业大数据处理:Spark、Druid、Flume与Kafka应用实践》

立即下载
大数据相关组件认证.pptx

Hadoop Hbase Flume Redis Kafka Spark SparkCore SparkSql SparkStreaming(实时计算)

立即下载
大数据平台搭建

此文档包括hadoop集群、zookeeper、hbase、kafka、spark的搭建

立即下载
img

spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
点击完成任务获取下载码
输入下载码
为了良好体验,不建议使用迅雷下载
img

使用kafka,spark,hbase开发日志分析系统

会员到期时间: 剩余下载个数: 剩余C币: 剩余积分:0
为了良好体验,不建议使用迅雷下载
VIP下载
您今日下载次数已达上限(为了良好下载体验及使用,每位用户24小时之内最多可下载20个资源)

积分不足!

资源所需积分/C币 当前拥有积分
您可以选择
开通VIP
4000万
程序员的必选
600万
绿色安全资源
现在开通
立省522元
或者
购买C币兑换积分 C币抽奖
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
为了良好体验,不建议使用迅雷下载
确认下载
img

资源所需积分/C币 当前拥有积分 当前拥有C币
1 0 0
为了良好体验,不建议使用迅雷下载
VIP和C币套餐优惠
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
您的积分不足,将扣除 10 C币
为了良好体验,不建议使用迅雷下载
确认下载
下载
您还未下载过该资源
无法举报自己的资源

兑换成功

你当前的下载分为234开始下载资源
你还不是VIP会员
开通VIP会员权限,免积分下载
立即开通

你下载资源过于频繁,请输入验证码

您因违反CSDN下载频道规则而被锁定帐户,如有疑问,请联络:webmaster@csdn.net!

举报

  • 举报人:
  • 被举报人:
  • *类型:
    • *投诉人姓名:
    • *投诉人联系方式:
    • *版权证明:
  • *详细原因: