合理运用虚拟化技术构建
Hadoop大数据平台
专注于企业级大数据
童小军
2013年5月11日
专注于企业级大数据
提纲
Hadoop补充传统架构应对大数据
虚拟化技术在Hadoop云计算作用
虚拟化技术在Hadoop 应用案例
专注于企业级大数据
Hadoop是什么?
一整套面向海量数据处理的分布式架构
存储+计算(HDFS+MapReduce)
数据仓库(Hive) 数据库(Hbase) 批处理(Pig)
搜索(Solr)挖掘算法(Mahout)
BSP模型(Hama)
分布式锁(Zoomkeeper)
大规模搜索(Nutch)
Sqoop
Flume
处理框架->分布式OS->生态系统
更多
专注于企业级大数据
Hadoop在云计算的位置
私有云
公有云
混合云
Infrastructure as a
Service
以服务的形式提供虚拟硬
件资源,如虚拟主机/存储/
网络等资源。
用户无需购买服务器、网
络设备、存储设备,只需
通过互联网租赁即可搭建
自己的应用系统
典型应用:Amazon Web
Service (AWS)
Platform as a Service
提供应用服务引擎,如互
联网应用编程接口/运行平
台等。
用户基于该应用服务引擎,
可以构建该类应用。
典型应用:Google
AppEngine, Force.com,
Microsoft Azure服务平台
Software as a Service
用户通过Internet (如浏览
器)来使用软件。用户不
必购买软件,只需按需租
用软件
典型应用:Google Doc,
Salesforce.com, Oracle
CRM OnDemand, Office
Live Workspace
面向外部用户需求,通过开放网络
提供云计算服务
IDC,GoogleApp,Saleforce在线
CRM
大型企业按照云计算的架构搭建平台,
面向企业内部需求提供云计算服务
企业内部数据中心等
兼顾以上两种情况的云计算服务
Amazon Web Server等既为企业内
部又为外部用户提供云计算服务
按提供的
服务类型
按云服务
的对象
IAAS
PAAS
SAAS
IAAS
分布存储
分布计算
专注于企业级大数据
云计算核心技术有两极
3200台主机