Hadoop是一种开源分布式系统架构，它的出现与云计算的发展密切相关。云计算的出现使得海量数据的存储与处理成为了可能，Hadoop作为一个广泛应用于多种平台上的开源分布式系统架构，为应用程序提供了一组稳定可靠的接口。它具有低成本、可扩展性、可伸缩性、高效性、高容错性等优点。由于其本身运行在大量廉价硬件设备集群上，因此，对Hadoop分布式集群的容错性验证显得尤为重要。
1. Hadoop平台搭建及容错验证
为了验证Hadoop的高容错性，首先需要在Linux系统上搭建一个Hadoop的集群环境。集群搭建包括机器间的通讯设置、用户配置、ssh无密码登录设置以及防火墙的关闭。在搭建过程中，需要配置集群中各个节点的IP地址，使得相互之间可以进行通讯。此外，Hadoop要求所有机器上的部署目录结构相同，并且拥有一个相同用户名的账户。在进行ssh设置时，需要生成一对密钥，并将公钥添加到其他节点的授权密钥中，以实现无密码登录。此外，为了保证集群能够正常运行，需要关闭防火墙。
2. Hadoop集群环境的搭建需要考虑的主要因素：
- 操作系统的选择：Fedora 12。
- Java开发环境（JDK）的版本：jdk-6u19-Linux-i586。
- Hadoop的版本：hadoop-0.20.2。
- 机器角色分配：其中一台作为NameNode（命名节点）和JobTracker（任务跟踪器），其余作为DataNode（数据节点）和TaskTracker（任务跟踪器）。
- 集群搭建步骤：包括配置hosts文件、设置ssh无密码登录、关闭防火墙等。
3. Hadoop高容错性验证
Hadoop平台的高容错性是通过其冗余存储机制实现的。Hadoop将硬件故障视为常态，并通过块的冗余存储来保证数据的高可靠性。HDFS（Hadoop分布式文件系统）的存储策略是将副本分布在不同的节点上，以防止数据丢失。正常情况下，副本系数（replication）为3，意味着一个数据块会有三个副本分别存储在不同的节点上。副本的存放策略是：一个副本放在本地机架的节点上，一个副本放在同一机架的另一个节点上，最后一个副本存放在不同机架的节点上。
为了验证Hadoop的容错性，可以通过设置不同的副本系数进行实验。在副本系数分别设置为1和3的条件下，分别对大量数据进行排序操作。在数据处理过程中，通过人为关闭节点来模拟硬件故障，以观察作业是否能够成功完成。当副本系数为1时，意味着数据块没有冗余副本，一旦数据块损坏，程序将无法正常读取数据，导致作业失败。当副本系数为3时，即使某个节点失效，其他节点上仍然有数据的副本，作业仍能成功完成。
Hadoop高容错验证的关键点包括：
- HDFS的冗余存储机制。
- 副本系数（replication）的设置对数据高可靠性的影响。
- 对故障节点的处理能力验证。
通过Hadoop分布式集群容错验证，可以保证在大规模数据存储和处理中，即使出现节点故障，也不会影响整个系统的稳定运行，确保数据的安全和高可用性。这对于云计算环境下的数据密集型应用至关重要，可以为用户提供高可靠性的数据存储和计算服务。
