hardoop学习

Hadoop 家族学习路线图 Hadoop 家族学习路线图主要介绍了 Hadoop 家族产品，常用的项目包括 Hadoop, Hive, Pig, HBase, Sqoop, Mahout,Zookeeper, Avro, Ambari, Chukwa 等。这些项目都是大数据处理的重要组件，充分利用集群的威力进行高速运算和存储。 Hadoop 家族产品可以分为两类，一类是已经掌握的产品，另一类是 TODO 准备继续学习的一句话产品。下面将对每个产品进行详细的介绍： 1. Apache Hadoop：是一个分布式计算开源框架，提供了一个分布式文件系统子项目（HDFS）和支持 MapReduce 分布式计算的软件架构。Hadoop 是大数据处理的基础组件，充分发挥了集群的威力进行高速运算和存储。 2. Apache Hive：是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 3. Apache Pig：是一个基于 Hadoop 的大规模数据分析工具，它提供的 SQL-LIKE 语言叫 Pig Latin，该语言的编译器会把类 SQL 的数据分析请求转换为一系列经过优化处理的 MapReduce 运算。 4. Apache HBase：是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。 5. Apache Sqoop：是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 6. Apache Zookeeper：是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。 7. Apache Mahout：是一个基于 Hadoop 的机器学习和数据挖掘的一个分布式框架。Mahout 用 MapReduce 实现了部分数据挖掘算法，解决了并行挖掘的问题。 8. Apache Cassandra：是一套开源分布式 NoSQL 数据库系统。它最初由 Facebook 开发，用于储存简单格式数据，集 Google BigTable 的数据模型与 Amazon Dynamo 的完全分布式的架构于一身。 9. Apache Avro：是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro 是新的数据序列化格式与传输工具，将逐步取代 Hadoop 原有的 IPC 机制。 10. Apache Ambari：是一个基于 Web 的工具，支持 Hadoop 集群的供应、管理和监控。 11. Apache Chukwa：是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。 12. Apache Hama：是一个基于 HDFS 的 BSP（Bulk Synchronous Parallel）计算框架，提供了一个高性能的分布式计算平台。 通过学习这些产品，可以充分发挥 Hadoop 家族产品的威力，进行高速运算和存储，从而实现大数据处理的目标。