云部署中的Hadoop

克服挑战并将基于云的Hadoop部署的优势最大化Hadoop和云似乎是最佳搭档。它们都包含灵活和分布式的处理与存储，而且都带有一个灵活的实例系统。它们还使您能够根据数据和处理需求来扩大和收缩Hadoop集群。但这会引发各种管理与调度问题。本文将了解所有这些问题，并描述基于云的Hadoop部署的挑战与优势。Hadoop系统是一个用起来颇有挑战性的环境，但由于云环境所具有的限制（与自由），云部署会引入额外的复杂性。例如，借助云中的Hadoop，如何处理可变的集群规模与信息的有效分布？如何有效地扩大和收缩云环境，以便应付您期望处理的Hadoop负载？如何计划和控制任务与处理，以便在云实例可用时最大限