大数据处理流程.pdf

⼤数据处理流程 ⼤数据处理流程 1． 数据处理流程 ⽹站流量⽇志数据分析是⼀个纯粹的数据分析项⽬，其整体流程基本上就是依据数据的处理流程进⾏。有以下⼏个⼤的步骤： 1.1 数据采集 数据采集概念，⽬前⾏业会有两种解释：⼀是数据从⽆到有的过程（web服务器打印的⽇志、⾃定义采集的⽇志等）叫做数据采集； 另⼀⽅⾯也有把通过使⽤Flume等⼯具把数据采集到指定位置的这个过程叫做数据采集。 关于具体含义要结合语境具体分析，明⽩语境中具体含义即可。 1.2 数据预处理 通过mapreduce程序对采集到的原始⽇志数据进⾏预处理，⽐如清洗，格式整理，滤除脏数据等，并且梳理成点击流模型数据。 1.3 数据⼊库 将预处理之后的数据导⼊到HIVE仓库中相应的库和表中。 1.4 数据分析 项⽬的核⼼内容，即根据需求开发ETL分析语句，得出各种统计结果。 1.5 数据展现 将分析所得数据进⾏数据可视化，⼀般通过图表进⾏展⽰。 扩展： 1、数据处理主要技术 Sqoop：作为⼀款开源的离线数据传输⼯具，主要⽤于Hadoop(Hive) 与传统数据库（MySql,PostgreSQL）间的数据传递。它可以 将⼀个关系数据库中数据导⼊Hadoop的HDFS中，也可以将HDFS中的数据导⼊关系型数据库中。 Flume：实时数据采集的⼀个开源框架，它是Cloudera提供的⼀个⾼可⽤⽤的、⾼可靠、分布式的海量⽇志采集、聚合和传输的系 统。⽬前已经是Apache的顶级⼦项⽬。使⽤Flume可以收集诸如⽇志、时间等数据并将这些数据集中存储起来供下游使⽤（尤其是数据流 框架，例如Storm）。和Flume类似的另⼀个框架是Scribe（FaceBook开源的⽇志收集系统，它为⽇志的分布式收集、统⼀处理提供⼀个 可扩展的、⾼容错的简单⽅案） Kafka：通常来说Flume采集数据的速度和下游处理的速度通常不同步，因此实时平台架构都会⽤⼀个消息中间件来缓冲，⽽这⽅⾯ 最为流⾏和应⽤最为⼴泛的⽆疑是Kafka。它是由LinkedIn开发的⼀个分布式消息系统，以其可以⽔平扩展和⾼吞吐率⽽被⼴泛使⽤。⽬前 主流的开源分布式处理系统（如Storm和Spark等）都⽀持与Kafka 集成。Kafka是⼀个基于分布式的消息发布-订阅系统，特点是速度快、 可扩展且持久。与其他消息发布-订阅系统类似，Kafka可在主题中保存消息的信息。⽣产者向主题写⼊数据，消费者从主题中读取数据。作 为⼀个分布式的、分区的、低延迟的、冗余的⽇志提交服务。和Kafka类似消息中间件开源产品还包括RabbiMQ、ActiveMQ、ZeroMQ 等。 MapReduce是Google公司的核⼼计算模型，它将运⾏于⼤规模集群上的复杂并⾏计算过程⾼度抽象为两个函数：map和reduce。 MapReduce最伟⼤之处在于其将处理⼤数据的能⼒赋予了普通开发⼈员，以⾄于普通开发⼈员即使不会任何的分布式编程知识，也能将⾃ ⼰的程序运⾏在分布式系统上处理海量数据。 Hive：MapReduce将处理⼤数据的能⼒赋予了普通开发⼈员，⽽Hive进⼀步将处理和分析⼤数据的能⼒赋予了实际的数据使⽤⼈员 （数据开发⼯程师、数据分析师、算法⼯程师、和业务分析⼈员）。Hive是由Facebook开发并贡献给Hadoop开源社区的，是⼀个建⽴在 Hadoop体系结构上的⼀层SQL抽象。Hive提供了⼀些对Hadoop⽂件中数据集进⾏处理、查询、分析的⼯具。它⽀持类似于传统RDBMS 的SQL语⾔的查询语⾔，⼀帮助那些熟悉SQL的⽤户处理和查询Hodoop在的数据，该查询语⾔称为Hive SQL。Hive SQL实际上先被 SQL解析器解析，然后被Hive框架解析成⼀个MapReduce可执⾏计划，并按照该计划⽣产MapReduce任务后交给Hadoop集群处理。 Spark：尽管MapReduce和Hive能完成海量数据的⼤多数批处理⼯作，并且在打数据时代称为企业⼤数据处理的⾸选技术，但是其 数据查询的延迟⼀直被诟病，⽽且也⾮常不适合迭代计算和DAG(有限⽆环图)计算。由于Spark具有可伸缩、基于内存计算能特点，且可以 直接读写Hadoop上任何格式的数据，较好地满⾜了数据即时查询和迭代分析的需求，因此变得越来越流⾏。Spark是UC Berkeley AMP Lab（加州⼤学伯克利分校的 AMP实验室）所开源的类Hadoop MapReduce的通⽤并⾏框架，它拥有Hadoop MapReduce所具有的优 点，但不同MapReduce的是，Job中间输出结果可以保存在内存中，从⽽不需要再读写HDFS ，因此能更好适⽤于数据挖掘和机器学习等 需要迭代的MapReduce算法。Spark也提供类Live的SQL接⼝，即Spark S