Easyhadoop学习笔记

【EasyHadoop学习笔记】 EasyHadoop是一款基于Hadoop的商业版软件，它提供了一种更为简便的方式来管理和使用Hadoop集群。这篇学习笔记主要涵盖了EasyHadoop的安装、使用、开发以及注意事项，帮助用户从零开始熟悉这款工具。 **1. EasyHadoop 1.1.1 安装使用手册** 在开始安装之前，需要准备以下环境： - **服务器**：支持x86 64位架构的台式机或服务器 - **操作系统**：CentOS/RedHat 5或CentOS/RedHat 6 - **环境依赖**：EasyHadoop基于CodeIgniter（PHP5）框架，需要Mysql存储服务器信息和配置。因此，运行EasyHadoop的服务器需预装LAMP（Linux, Apache, Mysql, Php）或LNMP（Linux, Nginx, Mysql, Php）环境。 **二、EasyHadoopManager系统安装步骤** 1. **获取源码**：可以从github.com/xianglei/easyhadoop或提供的下载链接下载源码，源码分为Central（管理界面）和Agent（操作代理）两部分。 2. **安装Central** - 将Central的代码上传至LAMP服务器，并确保浏览器或WebServer能够访问到登录界面。 - 如果使用LNMP，可能需要调整Nginx配置文件和CodeIgniter的设置以处理URL重写。 - 修改Central中的配置文件： - 在`config/config.php`中设置`base_url`为Web访问的根路径。 - 在`config/database.php`中配置数据库连接，使PHP可以访问MySQL数据库。 - 创建并导入数据库`easyhadoop.sql`，并使用初始用户名和密码`admin123456`登录。 3. **安装NodeAgent** - 将`NodeAgent.py`发送到每个需要安装Hadoop的节点。 - 通过命令行给脚本添加执行权限，或者直接用Python启动Agent。 - NodeAgent启动选项： - `-s`选项：用于发送启动或停止命令，如`start`或`stop`。 **三、EasyHadoop关键概念** - **Central**：EasyHadoop的Web管理界面，通常部署在单一服务器上。 - **Agent/NodeAgent**：在每台服务器上运行的操作代理，负责执行Central的指令。 **四、EasyHadoop的使用和开发** 开发过程中，了解EasyHadoop的API接口和命令行工具至关重要，这可以帮助用户自定义操作流程，扩展功能。此外，熟悉Hadoop的基本概念如HDFS（Hadoop分布式文件系统）和MapReduce编程模型也是必要的。 **五、注意事项** - 配置文件的正确修改是系统正常运行的关键，避免因配置错误导致的服务异常。 - 安全性：确保Agent和Central之间的通信是安全的，可以考虑使用SSL加密通信。 - 监控：定期检查系统的日志和性能指标，以便及时发现并解决问题。 在学习EasyHadoop的过程中，除了官方文档，还可以参考社区论坛和开源项目，这些资源能提供更多的实践经验和解决方案。随着对EasyHadoop的深入理解和熟练使用，用户将能够更高效地管理和利用Hadoop集群，实现大数据处理的自动化和优化。