# 日志分析系统
## 系统架构
本使用kafka,spark,hbase开发日志分析系统。
![architecture](/docs/images/architecture.png "architecture")
### 软件模块
* Kafka:作为日志事件的消息系统,具有分布式,可分区,可冗余的消息服务功能。
* Spark:使用spark stream功能,实时分析消息系统中的数据,完成计算分析工作。
* Hbase:做为后端存储,存储spark计算结构,供其他系统进行调用
## 环境部署
### 软件版本
* hadoop 版本 : Hadoop相关软件如zookeeper、hadoop、hbase,使用的是cloudera的 cdh 5.2.0 版本。
* Kafka : 2.9.2-0.8.1.1
### 软件安装
a. 部署kafka
tar -xzf kafka_2.9.2-0.8.1.1.tgz
b. 编辑kafka 配置文件
config/server-1.properties:
broker.id=0
port=9093
log.dir=/tmp/kafka-logs
config/server-2.properties:
broker.id=1
port=9093
log.dir=/tmp/kafka-logs
config/server-3.properties:
broker.id=2
port=9093
log.dir=/tmp/kafka-logs
c. 启动kafka
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &
bin/kafka-server-start.sh config/server-3.properties &
d. 创建kafka topic
> bin/kafka-topics.sh --create --zookeeper 10.10.102.191:2181, 10.10.102.192:2181, 10.10.102.193:2181 --replication-factor 3 --partitions 1 --topic recsys
e. 查看是否创建成功
> bin/kafka-topics.sh --list --zookeeper localhost:2181
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs:
Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0
f. kafka启动测试
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message
This is another message
g. 注意事项
在开发程序的时候,producer客户端必须要配置上broker的host映射信息,即使你的程序中使用的都是ip地址。
## 项目开发
### 程序部署目录
/libs
* Logback包:logback-classic-1.1.2.jar,logback-core-1.1.2.jar
* Kafka包(在kafka安装包lib目录中)
/conf
* Logback:logback.xml
/webapps/recsys
* index.html
/
* logcount-1.0.jar
### Spark_Streaming 处理数据
### HBase 保存数据
创建hbase表
create ‘recsys_logs’,’f’
服务器端部署.服务器端启动了一个httpserver,该server需要将jar包中的html页面解压出来,所以先解压,后运行程序
jar xvf recsys-1.0.jar
#### 系统运行
客户端
> java -Dlogback.configurationFile=./conf/logback.xml -classpath .:libs/*:logcount-1.0.jar com.wankun.logcount.kafka.TailService dest.log
服务端
> spark-submit --class com.wankun.logcount.spark.LogStream --master spark://SparkMaster:7077 logcount-1.0.jar
### 注释
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
kafka基于kafka和spark streaming和hbase的日志统计分析系统.zip 基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip基于kafka和spark streaming和hbase的日志统计分析系统.zip
资源推荐
资源详情
资源评论
收起资源包目录
基于spark streaming和kafka,hbase的日志统计分析系统.zip (19个子文件)
基于spark streaming和kafka,hbase的日志统计分析系统
.classpath 1KB
.settings
org.eclipse.jdt.core.prefs 238B
org.eclipse.core.resources.prefs 150B
org.eclipse.m2e.core.prefs 86B
pom.xml 2KB
src
main
resources
logback.xml 2KB
webapps
recsys
index.html 270B
hbase-site.xml 7KB
java
com
wankun
logcount
spark
LogStream.java 4KB
RecsysLogs.java 2KB
kafka
TailLog.java 3KB
TailService.java 617B
MsgSender.java 2KB
docs
日志分析系统.docx 61KB
架构.ppt 262KB
images
architecture.png 53KB
.project 537B
.gitignore 8B
README.md 3KB
共 19 条
- 1
资源评论
王二空间
- 粉丝: 1267
- 资源: 154
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功