Hadoop集群部署实例

由于工作需要，最近一段时间开始接触学习 Hadoop 相关的东西，目前公司的实时任务和离线任务都跑在一个 Hadoop 集群，离线 任务的特点就是每天定时跑，任务跑完了资源就空闲了，为了合理的利用资源，我们打算在搭一个集群用于跑离线任务，计算节点和 储存节点分离，计算节点结合 aws 的 Auto Scaling（自动扩容、缩容服务）以及竞价实例，动态调整，在跑任务的时候拉起一批实 例，任务跑完就自动释放掉服务器，本文记录下 Hadoop 集群的搭建过程，方便自己日后查看，也希望能帮到初学者，本文所有软 件都是通过 yum 安装，大家也可以下载相应的二进制文件进行安装，使用哪种方式安装，从属个人习惯。