# improved-journey
已上线的日志采集系统,使用flume收集日志,通过logstash将日志中的数据根据规则进行结构化,最后把结构化数据写入kafka,供消费者使用。
Flume是Cloudera贡献的一个分布式、可靠及高可用的海量日志采集系统,支持定制各类Source(数据源)用于数据收集,同时提供对数据的简单处理以及通过缓存写入Sink(数据接收端)的能力。本系统中主要用于通过配置文本进行日志数据的收集。
Logstash来自Elastic公司,专为收集、分析和传输各类日志、事件以及非结构化的数据所设计。本系统中主要使用Filter(过滤器)进行正则表达式处理、编解码、k/v切分以及各种数值、时间等数据处理,提取结构化数据。
Kafka 是LinkedIn开发并开源出来的一个高吞吐、分布式的、分区化的、可复制的日志处理框架。本系统中作为Producer(消息生产者)角色,消费者可对kafka中的数据进行消费,用于离线计算、实时计算、流式计算均可。
没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
收起资源包目录
已上线的日志采集系统,使用flume收集日志,通过logstash将日志中的数据根据规则进行结构化,_improved-journey.zip (42个子文件)
improved-journey-master
.classpath 1KB
.settings
org.eclipse.core.resources.prefs 104B
org.eclipse.core.runtime.prefs 52B
pom.xml 2KB
src
main
java
com
ilog
flume
source
tail
FileTailer.java 26KB
MD5File.java 2KB
MD5FileClearThread.java 2KB
IFileTailerListener.java 164B
FileTailerSource.java 4KB
BackupDBException.java 348B
IBackupDB.java 178B
solr
SolrCloudSolrjPopulator.java 916B
SolrJSearcher.java 1KB
SolrjPopulator.java 787B
SolrCloudSolrJSearcher.java 1KB
impala
input.txt 884B
TFIDFMeasure.java 7KB
Tokeniser.java 1KB
StopWordsHandler.java 1KB
WawaKMeans.java 6KB
WawaCluster.java 2KB
TermVector.java 1KB
Program.java 4KB
ITokeniser.java 245B
hive
hvieDemo.java 643B
util
file
FileUtil.java 19KB
security
SecurityUtil.java 2KB
PropertyUtil.java 658B
domainV2
AnsjTokenizerFactory.java 787B
AnsjAnalyzer.java 663B
TestAnsj.java 2KB
AnsjLuceneTest.java 4KB
AnsjTokenizer.java 5KB
domain
AnsjTokenizerFactory.java 821B
AnsjAnalyzer.java 701B
TestAnsj.java 2KB
AnsjLuceneTest.java 4KB
AnsjTokenizer.java 5KB
LICENSE 11KB
.project 568B
.gitignore 281B
README.md 1KB
共 42 条
- 1
资源评论
好家伙VCC
- 粉丝: 2105
- 资源: 9145
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功