信息工程学院毕业设计 IaaS 平台与大数据平台方案设计与实施
摘 要
随着云时代的来临，大数据也吸引越来越多的关注，企业在日常运营中生成、积累
的用户网络行为数据。这些数据是如此庞大，计量单位通常达到了 pb、eb 甚至是 zb。
hadoop 作为一个开源的分布式文件系统和并行计算编程模型得到了广泛的部署和应
用。大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理
和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优
化能力的海量、高增长率和多样化的信息资产。本文将介绍基于 OpenStack 平台，使
用云主机实现 Hadoop 完全分布式集群的具体搭建过程与基于 hive 的数据分析平台的
设计与实现。
OpenStack 是一个由 NASA（美国国家航空航天局）和 Rackspace 合作研发并发起
的，以 Apache 许可证授权的自由软件和开放源代码项目。
OpenStack 是一个开源的云计算管理平台项目，由几个主要的组件组合起来完成具
体工作。OpenStack 支持几乎所有类型的云环境，项目目标是提供实施简单、可大规模
扩展、丰富、标准统一的云计算管理平台。OpenStack 通过各种互补的服务提供了基础
设施即服务（IaaS）的解决方案，每个服务提供 API 以进行集成。
OpenStack 是一个旨在为公共及私有云的建设与管理提供软件的开源项目。它的社
区拥有超过 130 家企业及 1350 位开发者，这些机构与个人都将 OpenStack 作为基础设
施即服务（IaaS）资源的通用前端。OpenStack 项目的首要任务是简化云的部署过程并
为其带来良好的可扩展性。
OpenStack 包含社区维护的 8 个核心项目，还有许多孵化项目，其中 Swift、Nova
和 Glance 是最主要的 3 个项目。Swift 提供对象存储服务，Nova 是提供虚拟换计算服
务，Glance 提供虚拟机镜像管理服务。此外还包括 Keystone 身份认证服务、Neutron
网络服务等项目作为辅助模块。上述三大主要项目既可以单独使用，也可以组合起来
搭建一个通用的 IaaS 云平台。
关键字：OpenStack,云计算, Hadoop，MapReduce，Hive。
