大数据运维

### 大数据运维：谭志坚大数据安装与运维探索 #### 一、Ambari简介 ##### 1. Ambari概述 Apache Ambari 是一种基于 Web 的工具，用于支持 Apache Hadoop 集群的供应、管理和监控。Ambari 作为一个顶级项目，在 Apache Software Foundation 中占据了重要的地位。其最新发布的版本为 2.0.1 版本，预计不久将推出 2.1 版本。 Ambari 主要作用在于创建、管理以及监视 Hadoop 集群及其生态系统的各个组成部分，而不仅仅是 Hadoop 本身。这包括但不限于 HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop 和 HCatalog 等。Ambari 的目标是使 Hadoop 及其相关的大数据软件更易于使用。 ##### 2. Ambari取得的成绩 - **简化集群供应**：通过逐步的安装向导简化了集群的部署过程。 - **预配置运维指标**：预先配置好关键的运维指标，可以直接查看 Hadoop Core (HDFS 和 MapReduce) 以及相关项目的健康状况。 - **作业与任务可视化**：支持作业与任务执行的可视化与分析，帮助用户更好地理解任务间的依赖关系和性能表现。 - **RESTful API 接口**：提供了一个完整的 RESTful API 接口，可以与其他运维工具集成，从而实现监控信息的共享。 - **直观的用户界面**：拥有直观的用户界面，使得用户能够轻松有效地查看信息并控制集群。 - **集成监控与报警**：使用 Ganglia 收集度量指标，并通过 Nagios 支持系统报警功能，当出现问题时会向管理员发送邮件提醒。 - **支持安全集群**：能够安装基于 Kerberos 的安全 Hadoop 集群，提供基于角色的用户认证、授权和审计功能，并与 LDAP 和 Active Directory 集成。 ##### 3. 选择 Ambari 的理由 - **开源免费**：作为开源项目，Ambari 免费供所有人使用。 - **顶级项目**：属于 Apache Software Foundation 的顶级项目之一。 - **简化部署**：简化了 Hadoop 及其相关组件的部署，并解决了它们之间的依赖问题。 - **用户友好**：具有直观易用的用户界面，便于用户进行集群管理和监控。 - **广泛认可**：Ambari 在大数据社区中被广泛认可，拥有活跃的论坛和支持社区。 #### 二、Ambari 安装 ##### 1. 安装环境说明 - **操作系统**: CentOS 7 mini - **Java环境**: jdk-8u131 - **数据库**: MySQL 5.6.28 ##### 2. 操作系统环境准备 ###### 2.1 配置 SSH 免密码登录 - 在主节点的 root 用户下执行 ssh-keygen 命令生成密钥对。 - 将生成的公钥追加到 authorized_keys 文件中，并设置相应的权限。 - 在从节点上创建 ~/.ssh 目录，并分发主节点的公钥到从节点的 ~/.ssh/authorized_keys 文件中。 ###### 2.2 创建 Ambari 系统用户和用户组 - 只需在主节点上执行此操作。 - 使用 `adduser` 命令添加 Ambari 用户，并设置密码。 ###### 2.3 开启 NTP 服务 - 在所有集群节点上安装并启动 NTP 服务，确保时间同步。 - CentOS 7 和 CentOS 6 的命令略有不同。 ###### 2.4 检查 DNS 和 NSCD - 在所有节点上配置 DNS 和 Name Service Caching Daemon (NSCD)，以确保名称解析正确无误。 - 编辑 `/etc/hosts` 文件，添加各节点的 FQDN (Fully Qualified Domain Name)。 - 设置 `/etc/sysconfig/network` 文件，定义正确的主机名。 ###### 2.5 关闭防火墙 - 在所有节点上关闭防火墙，避免影响 Ambari 的正常工作。 - 根据不同的 CentOS 版本，使用相应的命令来禁用防火墙服务。 通过以上步骤，可以为 Ambari 的安装打下良好的基础。接下来可以根据 Ambari 的官方文档继续完成后续的安装和配置步骤。这些准备工作不仅有助于确保 Ambari 的顺利安装，也为后续的大数据平台运维提供了坚实的技术支撑。