Cloudera Manager6.3.2 详细安装教程

Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的工具，大大提高集群管理的效率，节省运维成本。Cloudera Manager从6.3.3版开始收费，6.3.2及之前的版本可以免费使用，但是不能免费下载。但是cm的安装相对复杂，上手较难，本文详细讲解6.3.2版本的安装和使用。 分发命令：批量执行脚本和文件分发脚本。因为在安装过程中，需要在各个服务器之间进行同样的操作，使用脚本批量化处理，节省时间，以及避免遗漏和出错。 Cloudera Manager是一款强大的集群管理工具，专为自动化安装、集中式管理和监控Hadoop集群而设计，同时具备报警功能，极大地提升了集群管理的效率并降低了运维成本。在Cloudera Manager 6.3.2版本中，用户可以免费使用，但需要注意的是，此版本之后的更新开始收费，并且可能无法直接从官方渠道免费下载。 安装Cloudera Manager 6.3.2前的准备工作至关重要，主要包括以下几个步骤： 1. **服务器准备**：确保至少有三台服务器，其中主节点需要16GB内存，而从节点则可以是8GB内存。这为Cloudera Manager提供了运行所需的硬件基础。 2. **关闭防火墙**：为了确保集群内部通信不受阻，需要检查并关闭所有服务器上的防火墙。可以使用`systemctl status firewalld`来查看防火墙状态，然后用`systemctl stop firewalld`临时关闭，`systemctl disable firewalld`进行永久关闭。 3. **设置hostname和配置/etc/hosts**：每个服务器应具有唯一的主机名，并在`/etc/hosts`文件中正确配置，以便于节点间的相互识别。例如，将10.10.1.001分配给node1，10.10.1.002分配给node2，以此类推。 4. **分发命令**：为了提高效率和减少错误，可以编写两个脚本来批量执行命令和同步文件。`doAll.sh`脚本用于执行命令，`cpAll.sh`脚本用于文件同步。这两个脚本都应根据实际的主机名进行定制，并设置好权限，使其可以在所有服务器上执行。例如，使用`ssh-keygen`生成无密码的SSH密钥对，然后通过`ssh-copy-id`将公钥分发到所有服务器，实现SSH免密登录。 安装Cloudera Manager 6.3.2的详细过程通常包括以下步骤： 1. 下载Cloudera Manager的安装包，这通常是一个`.tar.gz`文件。 2. 解压安装包，并在主节点上运行安装脚本。 3. 配置Cloudera Manager服务器的数据库，可以选择内置的 Derby 数据库或连接到外部MySQL或PostgreSQL数据库。 4. 在管理界面中添加集群，指定主机名或IP地址，Cloudera Manager会自动发现并配置集群中的服务和组件。 5. 安装并配置所需的服务，如HDFS、YARN、MapReduce、HBase等。 6. 设置监控和报警规则，以便在发生异常时收到通知。 7. 使用Cloudera Manager的管理界面进行日常维护，如查看性能指标、调整配置、升级组件等。 在整个过程中，利用预配置的脚本和批量操作可以显著减少手动工作量，确保安装过程的准确性和一致性。在集群规模较大或者需要频繁部署和调整时，这些自动化工具的价值尤为突出。 Cloudera Manager 6.3.2提供了一个强大的集群管理平台，其自动化功能和全面的监控能力对于任何Hadoop环境来说都是宝贵的资产。尽管安装过程可能较为复杂，但通过精心的规划和准备，可以有效地降低难度，确保顺利部署和使用。