- 自己研究大数据多年,写的一个日志数据采集方案笔记,可快速熟悉Flume,Kafka,Hdfs的操作使用,以及相互的操作接口。4 1w+浏览会员免费
- Kafka是一个分布式的消息队列系统,消息存储在硬盘上,描述了Kafka原理和安装部署的过程(Kafka核心原理与实战 【整理人:北京海子】)3 2996浏览会员免费
- ELK、EFK安装及配置文档,详细的阐述了EFK架构,其中包括了kafka、elasticsearch、elasticsearch-head、nodejs、kibana、logstash、filebeat等的安装配置。3 887浏览会员免费
- kafka官方文档-中文,直译,kafka官方文档-中文,可以参考官方文档4 481浏览会员免费
- kafka源码解析新手版本修正版,重新排版、加入了导航收签,添加原文档部分图片无法显示的问题,原文请参考原博主http://blog.csdn.net/column/details/kafka-details.html4 449浏览会员免费
- 这个里面是kafka配置kerberos的详细步骤,其方式也可以应用到kafka自带的认证体系1 5011浏览会员免费
- CDH集群运维手册0 724浏览会员免费
- big大小:3MB最后终稿的毕业论文形式,而这一版查重率为3.8% 其中引用率还占2.01%,复写率只有1.79。里面有项目运行指令图片、架构设计图、数据库图、数据库设计表等内容,让你直接下载参考即毕业。最后终稿的毕业论文形式,而这一版查重率为3.8% 其中引用率还占2.01%,复写率只有1.79。里面有项目运行指令图片、架构设计图、数据库图、数据库设计表等内容,让你直接下载参考即毕业。5 1897浏览会员免费
- kafka面试题参考,kafka面试题参考,kafka面试题参考,kafka面试题参考,kafka面试题参考,kafka面试题参考0 1571浏览会员免费
- 基于flume+kafka+实时计算引擎(storm,spark,flink)的实时计算框架目前是比较火的一个分支,在实时数据采集组件中flume扮演着极为重要角色,logtash是ELK的重要组件部分,filebeat也是一个实时采集工具;0 1936浏览会员免费
- 很详细的kafka原理讲解及实战应用5 209浏览会员免费
- 介绍Kafka背景,使用消息系统的优势,常用消息系统对比,Kafka架构介绍,Kafka实现语义分析,Replication及Leader Election机制剖析,Consumer Group Rebalance实现原理介绍,以及Benchmark测试。0 669浏览会员免费
- Kafak 基本介绍、安装必备环境、必备软硬件、安装详细步骤、注意事项。0 3287浏览会员免费
- kafka配置调优实践0 2313浏览会员免费
- kafka大小:267KBKafka跨集群容灾备份 1、使用场景 2、MirrorMaker架构 3、MirrorMaker工具使用 4、验证消息是否拷贝成功 5、跨机房备份案例 6、注意事项Kafka跨集群容灾备份 1、使用场景 2、MirrorMaker架构 3、MirrorMaker工具使用 4、验证消息是否拷贝成功 5、跨机房备份案例 6、注意事项0 1013浏览会员免费
- OGG增量抽取Oracle业务数据到kafka-部署手册0 421浏览会员免费
- 大数据这么火,但是从业人员也多啊,需要好好琢磨一下,充分准备。把这份题目分享出来,给面试的程序员参考用。就设为最低分值吧,大家拿去。 题目示例如下: 15、MapReduce 中排序发生在哪几个阶段?这些排序是否可以避免?为什么? 1)一个 MapReduce 作业由 Map 阶段和 Reduce 阶段两部分组成,这两阶段会对数据排序,从这个意义上说,MapReduce 框架本质就是一个 Distributed Sort。 2)在 Map 阶段,Map Task 会在本地磁盘输出一个按照 key 排序(采用的是快速排序)的文件(中间可能产生多个文件,但最终会合并成一个),在 Reduce 阶段,每个 Reduce Task 会对收到的数据排序,这样,数据便按照 Key 分成了若干组,之后以组为单位交给 reduce()处理。 3)很多人的误解在 Map 阶段,如果不使用 Combiner便不会排序,这是错误的,不管你用不用 Combiner,Map Task 均会对产生的数据排序(如果没有 Reduce Task,则不会排序,实际上 Map 阶段的排序就是为了减轻 Reduce端排序负载)。 4)由于这些排序是 MapReduce 自动完成的,用户无法控制,因此,在hadoop 1.x 中无法避免,也不可以关闭,但 hadoop2.x 是可以关闭的。0 167浏览会员免费
- 总结了下kafka常用的命令0 1537浏览会员免费
- kafka安装教程 kafka安装教程 kafka安装教程 kafka安装教程 kafka安装教程0 1339浏览会员免费
- Kafka工作原理详解, 非常实用的文档,建议下载收藏。1 2891浏览会员免费
- 该文档是根据真实项目,搭建的一套OGG实时同步oracle数据到kafka集群,文档主要介绍OGG的安装和进程配置。文档最后附带整个数据处理的流程图。0 956浏览会员免费
- Maxwell 安装、配置和使用说明书,maxwell+mysql+binlog+kafka,数据传输,配置完整攻略。0 1363浏览会员免费
- RabbitMQ、RocketMQ、Kafka、ActiveMQ消息中间件常见的面试题目0 1214浏览免费
- 大数据技术之Kafka.docx大数据技术之Kafka.docx大数据技术之Kafka.docx大数据技术之Kafka.docx0 212浏览免费
- elk的部署安装文档,关于elk文档日志分析等,其中包括日志收集。5 104浏览会员免费
- 这个是我自己根据网上的教程以及自己的经验总结出来的kafka的集群搭建以及测试,亲测可用,如果遇到一些小问题,请上网百度。或者私聊均可,可以给与帮助0 331浏览会员免费
- flume /kafka 与spark streaming 结合0 560浏览免费
- Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。0 209浏览会员免费
- kafka集群文档 zookeeper集群文档 消息中间件是在消息的传输过程中保存消息的容器 消息中间件的作用就是中介的作用0 82浏览会员免费
- KSQL是一个用于Apache kafka的流式SQL引擎,KSQL降低了进入流处理的门槛,提供了一个简单的、完全交互式的SQL接口,用于处理Kafka的数据,可以让我们在流数据上持续执行 SQL 查询,KSQL支持广泛的强大的流处理操作,包括聚合、连接、窗口、会话等等。 KSQL在内部使用Kafka的Streams API,并且它们共享与Kafka流处理相同的核心抽象,KSQL有两个核心抽象,它们对应于到Kafka Streams中的两个核心抽象,让你可以处理kafka的topic数据。2 384浏览会员免费
- 第十一次课-Flume的安装和使用,包含Flume的两个实例应用0 211浏览会员免费
- 常见Kafka面试题:1、如何提升生产者的吞吐量?2、如何保证kafka内部数据不丢失 3.积压了百万消息如何处理等面试题0 744浏览会员免费
- Flume1.5.0入门:安装、部署、及flume的案例Flume1.5.0入门:安装、部署、及flume的案例0 190浏览会员免费
- Kafka分区策略浅谈,Kafka分区策略浅谈,Kafka分区策略浅谈。0 1528浏览会员免费
- 关于消息队列的使用 一、消息队列概述 消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ 二、消息队列应用场景 以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯四个场景。0 724浏览会员免费
- zookeeper集群安装,kafka消息队列集群安装说明,kafka消息队列集群安装说明kafka消息队列集群安装说明0 156浏览会员免费
- 很好的很详细的讲解大数据的相关知识,是一个很好的学校的课件和大家分享0 149浏览会员免费
- hadoop与spark分布式安装0 321浏览会员免费
- rocketmq部署文档,适用于小白。。0 257浏览会员免费
- kafka调优0 184浏览会员免费
- kafka配置安装详解及启动测试指南,基本入门教程,读写数据样例0 591浏览会员免费
- kafka大小:1MB大数据技术之Kafka.docx详细文档大数据技术之Kafka.docx详细文档0 160浏览免费
- 本文主要整理了kafka概念、架构组件、重要设计思想、生产过程分析、消费过程分析、操作、配置文件描述等。0 107浏览会员免费
- Windows安装ELK步骤具体的使用说明,详细的也可点击本人博客搜索了解。支持Windows和linux下安装使用,elk一般用作日志监控平台等等,提供高效快速的数据搜索和大容量的存储,配合kafka异步,实现高性能。0 252浏览会员免费
- 在Ubuntu16.04单机中的kafka搭建,从安装配置环境到最终搭建完成0 535浏览会员免费
- Kafka学习笔记,包括Kafka术语、学习过程中单机版Kafka安装与配置、基于Docker的Kafka集群安装与配置、kafka消息机制与原理、学习方法0 188浏览会员免费
- 大数据技术之 Kafka0 242浏览会员免费
- jdk1.8,zookeeper,kafka的安装配置,下再,解压,更改配置,测试是否安装成功0 542浏览会员免费
- 资源回答:Kafka 介绍、Kafka常见问题及如何处理?Kafka优化你们是如何做的?Kafka 的 Follower与Leader同步消息是如何进行的?Kafka 的ISR中有follower落后,怎么处理?属于高频面试题,拿走不谢!0 150浏览会员免费
- kafka入门教程,一个简单的入门教程!0 309浏览会员免费
- kafka的集群安装和配置,以及简单的使用生产数据和消费数据0 123浏览会员免费
- 实时处理-ogg实现oracle到kafka的增量数据实时同步0 229浏览会员免费
- 1、对kafka基本概念及原理性进行探讨。2、对kafka配置文件进行总结和分析 3、详细介绍了kafkaAPI编程。4、kafka的存储原理进行分析。适合kafka入门级资料0 259浏览会员免费
- 是本人开发和使用kafka过程中的总结,kafka使用总结,包括环境搭建,参与优化,开发运维,系统架构参考等等。0 114浏览会员免费
- kafka学习文档(Kafka基本概念、Kafka内部逻辑组成)。记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢0 208浏览会员免费
- 本文档详细介绍了kafka的流程,及kafka集群的安装,赋详细安装步骤0 255浏览会员免费
- 该文档详细的描述了一个分布式的,可划分的,冗余备份的持久性的日志服务Kafka的安装部署,同时该文档也可用于大数据技术的学习。0 224浏览会员免费
- kafka命令操作 记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢0 114浏览会员免费
- 第一章 需求 对方的网页文件接入到我方服务器。每个文件要知道其:网站、采集时间等。 通过消息队列将多个远程服务器上的【数据文件】源源不断的接入到本地服务器,数据文件是下载下来的网页,传输过来的时候还要带上来自的网站和下载日期等信息。 目前讨论消息队列用Kafka。 第二章 基本方案 1、我现在能想到的就是: 远程服务器编写程序, 不停读取文件的内容成为一个字符串,然后再加上来自的网站、下载日期等信息,组合成一个JSON字符串,通过调用kafka的生产者API将字符串写入Kafka。 2、JSON数据格式设计: { “source”: “来源网站名” , “filename” : “html文件名”, “download-date”: “下载日期” , ”content” : “一个html文件的全部字符串 “ } 注:假设.js \.css \.png文件都不需要 3、消息主题的设计: 一个网站对应一个topic,对应到本地的一个文件夹。 4、其他: 如果只是传输文件,不考虑加上网站、下载日期等信息的话,我知道的用Flume可能更方便,但是要加上网站、下载日期的信息(类似主题订阅的功能),flume就不太方便了? 5、可能存在的顾虑:网页数据文件对数据顺序性的要求的程度。 Kafka单分区的情况小支持消息有序性, 多分区下确保消息有序的方案还需深入调研。 如果之后一个主题下对应的网页文件没有特别的传输顺序要求,这一块应该会容易处理很多。0 307浏览会员免费
- flume的安装和实践0 5266浏览会员免费