LinkedIn基于Kafka和ElasticSearch的实时日志分析系统

5星(超过95%的资源)
所需积分/C币:32 2017-06-26 17:32:42 3.95MB PDF
21
收藏 收藏
举报

LinkedIn基于Kafka和ElasticSearch的实时日志分析系统
自我介绍 2012至今: LinkedIn sre 2.负责 LinkedIn在线支付系统,高级会员功能,公共AP接口, 视频上传和分享等系统的SRE工作。 3.2015年:负责EK(日志系统)@ lInkediN。 4.2016年:负责 LinkedIn纽约地区SRE团队建设 International Software Development Conference QCon全球软件开发大会上海站2016 Linkedin简介 1.450M(4.5亿)用户 2.4000+Eng 3.2012年SRE:20人 4.2016年SRE:350人 5.5个数据中心,50000+服务器 6.领英中国的发展 International Software Development Conference QCon全球软件开发大会上海站2016 为什么要日志分析系统 1.日志(og)=数据+时间戳 2.cat/tai/grep/ less/awk/cut+正则表达式就足够了 3.如果不够,加上mssh,cssh, multitail 4.如果还不够,还有很多“创意” International Software Development Conference QCon全球软件开发大会上海站2016 为什么要日志分析系统 Enough is enough… 容我做个悲伤的表情 International Software Development Conference QCon全球软件开发大会上海站2016 为什么要日志分析系统 找一下某个服务两天前9:42-10:28之间的日志 只要看警告或者更严重的消息[warn][eror][fata] 有十几个错误是已知的,要忽略 这个服务跑在5个数据中心600多台服务器上 有没有新的错误?是否只发生在某特定用户的请求造成? 是否和其他服务的错误消息相关? 现在是凌晨3点 International Software Development Conference QCon全球软件开发大会上海站2016 为什么要日志分析系统 0011000100100100000100010010101011000000001000010001010L00 101101a01011011110a0a1110010111oa001111001 001000011110001001011000001001110000110001110001100000111 d0100110000011011111001a011000011100011100 11D1p11aa110D10101110 0000 0100 0101100 10D11010000001010D10111000000D111000101110d0001111001 00001000011110001001011000100111000011000111000110000111 nn nnn nnn 00110000010000000100030010301300u0uup0100aaJ000101000 10011010000001010000113100 10310300a00001111001 0000100001100010003300010 13ap0110001J00000 100000a000100110atn3 hni0a0111000110a0 0010001001003000a01000y/0103 aupa000000000L00 1000100000030300u0333/0000 001010aa000111001 0000100001111000100033000010 0ap0111000100000111 J000a00000100000p0013111100 uu100011000Ja00 00110010010a1000aa10001an1a1 110 00b010010001010100 100110100000010100001111如00000010100000001111001 00001000011110001000110 01003 a01110001100000111 1000000000000000011 013b000]100011000 001]0001001001000uu10D1 up01000010001010100 1001101000000101aa LOONODAH n1030000001133001 D0100001111000100 0013ap01110001l0000011 100D0000000100110011011 l300011100011100000 00L10001a100U 0 0l00"uu10101010100 101101a1011D1111aaan11110111 100 0000口1111a1 000010000111100010010110000D1001110000110000111000110000111 1o01001100001101111100100D0001100001110001110aD International Software Development Conference QCon全球软件开发大会上海站2016 为什么要日志分析系统 基本需求 满足索引、检索、排序、分类、可视化、分析日志的功能 可根据数据规模横向扩展 跨数据中心支持 支持功能扩展,可以接入已有其他系统 扩展需求 提高系统可维护性 提高安全性、保护用户信息 取样S记录全部 International Software Development Conference QCon全球软件开发大会上海站2016 Linkedin日志系统演进 ??~2012:Sp|unk 优点:好用 缺点:很贵 International Software Development Conference QCon全球软件开发大会上海站2016

...展开详情
试读 39P LinkedIn基于Kafka和ElasticSearch的实时日志分析系统
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
WayneFok 还不错, 相对还是有点贵了哈.
2018-08-24
回复
ziyilanbing 没时间看,不知道怎么样
2018-04-08
回复
一刻瞬杀 谢谢分享,很有用!
2018-04-03
回复
lfxyan 还不错, 相对有点贵了哈.
2018-02-05
回复
screaming 是个会议主题报告的分享,谢谢分享
2017-08-17
回复
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • GitHub

  • 脉脉勋章

  • 签到新秀

关注 私信
上传资源赚钱or赚积分
最新推荐
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统 32积分/C币 立即下载
1/39
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统第1页
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统第2页
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统第3页
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统第4页
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统第5页
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统第6页
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统第7页
LinkedIn基于Kafka和ElasticSearch的实时日志分析系统第8页

试读结束, 可继续读4页

32积分/C币 立即下载 >