没有合适的资源?快使用搜索试试~ 我知道了~
基于javatcpsocket通信的拆包和装包源码-logpipe:分发日志收集器
共92个文件
c:36个
conf:16个
h:10个
需积分: 10 2 下载量 177 浏览量
2021-06-06
20:53:50
上传
评论
收藏 390KB ZIP 举报
温馨提示
基于java tcp socket通信的拆包和装包源码 日志采集工具(logpipe) 1. 概述 在集群化环境里,日志采集是重要基础设施。 开源主流解决方案是基于flume-ng,但在实际使用中发现flume-ng存在诸多问题,比如flume-ng的spoolDir采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时效性要求,如果要采集正在被不断追加的日志文件,只能用exec采集器搭配tail -F命令,但tail -F命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如logstash由于是JAVA开发,内存占用和性能都不能达到最优。 作为一个日志采集的本地代理,内存占用应该小而受控,性能应该高效,耗费CPU低对应用影响尽可能小,要能异步实时追踪日志文件增长,某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名,架构上要支持多输入多输出流式日志采集传输,为了达成以上需求,我研究了所需技术,评估实现难度并不高,就自研了logpipe。 logpipe是一个分布式、高可用的用于采集、传输、对接落地的日志工具,采用了插件风格的框架结构设计
资源推荐
资源详情
资源评论
收起资源包目录
logpipe-master.zip (92个子文件)
logpipe-master
.gitignore 430B
README.md 69KB
ChangeLog-CN 7KB
makefile.Linux 2KB
test
makefile.Linux 4KB
makefile 1KB
press_logpipe.c 1KB
test_logpipe.c 1013B
makeinstall 207B
press_LOGC.c 516B
sysctl.conf.add 75B
conf
logpipe_case1_input_file_and_output_tcp.conf 772B
logpipe_case1_2_input_tcp_and_output_file.conf 496B
logpipe_case1_3_input_tcp_and_output_file.conf 497B
logpipe_case8_input_file_and_filter_and_output_stdout.conf 445B
logpipe_case2_input_file_and_output_tcp.conf 776B
logpipe_case0_input_file_and_output_file.conf 538B
logpipe_case1_1_input_tcp_and_output_file.conf 496B
logpipe_case2_input_tcp_and_output_file.conf 630B
logpipe_case4_input_file_and_output_es.conf 2KB
logpipe_case5_input_file_and_output_tcp.conf 772B
logpipe_case9_input_kafka_and_output_stdout.conf 528B
logpipe_case3_input_file_and_output_hdfs.conf 348B
logpipe_case5_input_tcp_and_output_es.conf 810B
logpipe_case7_input_file_and_output_ingeek.conf 536B
logpipe_case2_input_tcp_and_output_tcp.conf 308B
logpipe_case6_input_file_and_output_kafka.conf 633B
LICENSE 26KB
makefile 419B
logpipe.vsd 144KB
AUTHORS 31B
src
main.c 4KB
util.c 14KB
makefile.Linux 7KB
env.c 10KB
monitor.c 5KB
logpipe_fifo.c 5KB
worker.c 7KB
LOGC.h 9KB
LOGC.c 16KB
config.c 24KB
makefile 1KB
rbtree_tpl.h 11KB
list.c 9KB
idle.c 2KB
logpipe_in.h 7KB
output.c 13KB
rbtree.c 10KB
rbtree.h 4KB
makeinstall 215B
fasterjson.c 26KB
logpipe_api.h 11KB
list.h 14KB
fasterjson.h 10KB
crypto.c 3KB
src-plugins
IDL_zookeeper_broker_ids.dsc.LOG.c 795B
logpipe-output-file.c 13KB
kafka_with_zookeeper.h 564B
makefile.Linux 6KB
logpipe-filter-log.c 2KB
fasterhttp.c 102KB
fasterhttp.h 21KB
logpipe-output-tcp.c 17KB
logpipe-output-linemode-template.c 7KB
logpipe-output-stdout.c 2KB
system_monitor.txt 1KB
IDL_zookeeper_broker_ids.dsc 62B
IDL_zookeeper_broker_ids.dsc.h 3KB
logpipe-input-kafka.c 9KB
logpipe-output-kafka.c 12KB
logpipe-output-es.c 26KB
makefile 5KB
kafka_with_zookeeper.c 3KB
pp.bat 61B
logpipe-filter-unpack-metadata.c 6KB
logpipe-input-tcp.c 13KB
makeinstall 206B
logpipe-output-ingeek.c 24KB
logpipe-input-file.c 71KB
ecif_platform.txt 2KB
logpipe-output-hdfs.c 15KB
IDL_zookeeper_broker_ids.dsc.c 11KB
logpipe-filter-pack-metadata.c 6KB
logpipe-input-exec.c 7KB
logpipe.png 54KB
shbin
makefile.Linux 3KB
logpipe_pack_bin.sh 331B
makefile 693B
makeinstall 207B
logpipe.sh 2KB
process_flow.png 43KB
logpipe2.png 42KB
共 92 条
- 1
资源评论
weixin_38599712
- 粉丝: 8
- 资源: 860
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于python的机械设计实用计算器,可计算电动机,传动装置,V带轮,齿轮,轴,轴承的几何或者力,运动学参数数值+源码+开发文档
- 基于HTML +JavaScript的元旦倒计时代码.docx
- 【Unity资源免费分享】孩子益智小游戏unity 5x系列Baby Doll House Cleaning
- 【资源免费分享】集市游戏(uniyt案例)
- 数据整理结果 2023-12-7 192544 6.dta
- 5.22前端基础(2)
- 糖尿病风险因素分析数据
- matlab项目源码基于matlab的声源定位广义互相关算法的实现.zip
- 基于Go的Dory-Engine应用上云引擎命令行客户端设计源码
- dotnet-core-uninstall-1.7.521001 github上下载下来,从github下载不下来时,可以使用这
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功