hadoop安装与配置.pdf

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要用于解决海量数据的存储和海量数据的分析计算问题。其核心组件包括HDFS（Hadoop分布式文件系统，用于存储）、MapReduce（分布式离线计算框架）和YARN（资源调度框架）。此外，Hadoop广义上指的是一个更广泛的概念，即Hadoop生态系统，其中还包括了Hive数据仓库工具、HBase非关系型数据库、Zookeeper分布式协调服务、Kafka消息队列、Sqoop数据导入导出等其他组件。 Hadoop的创始人是Doug Cutting，它具有高可靠性、高扩展性、高效性和高容错性四大优势。具体来说，Hadoop底层维护多个数据副本，因此即使某个计算元素或存储出现故障，也不会导致数据的丢失。此外，Hadoop能在集群间分配任务数据，从而方便地扩展数以千计的节点。在MapReduce的思想下，Hadoop是并行工作的，这有助于加快任务处理速度。而且，Hadoop能够自动将失败的任务重新分配，从而提高系统的容错性。