云存储技术-分析与实践

所需积分/C币:34 2019-04-14 09:25:23 79.19MB PDF
23
收藏 收藏
举报

云存储技术-分析与实践
云存储技术分析与实践 Azure和Xen。第四章对分布式存储系统进行介绍,分别讨论了以HDFS、TFS和 Lustre为代表的分布式文件系统,以 Dynamo为代表的分市式键值系统,以 Bigtable和 Hbase为代表的分布式表格系统,以及以 MongoDB为代表的分布式 数据库系统。第五章集中介绍在云存储相关领域的研究成果,涵盖了节能存 储、固态存储、混合存储、分布式文件系统的小文件处理、基于 MapReduce的 近似计算等关键技术。第六章从实践的角度出发,介绍了如何基于 Hadoop构 建简单的云存储系统。第七章介绍 Open Stack的对象存储服务Swi,从实践的 角度梳理了基于 pen Stack Swift构建云存储系统的安装、使用、管理过程。 本书编写过程中,王峰教授、赵少锋博士、史晓东博士和华中科技大学有 关老师和同学给予了支持与帮助,经济管理出版社的高娅老师对本书的校订付 出了大量心血,在此表示衷心的感谢。 此外,还要特别感谢经济管理出版社对本书出版的大力支持,感谢家人在 第一章云存 我多年的项目工作中给予我最坚定的支持和无私奉献。由于笔者水平有服,书 第 中难免有错误和不妥之处,敬请读者批评指正,共同进步 第」 刘洋 2016年8月22日 第第第第第第第 二三四五 七八九 第二章存储 第第第第第第第第 二三四五六七八 002 储 本书采用循序渐进的方法,引领读者逐步了解云存储领城的关键技术,在 力求保持全面性、通俗性的同时,分析讨论了一系列云存储领域的高级话题, 例如存储虚拟化、系统虚拟化、分布式存储系统、绿色存储、固态存储、重复 数据删除和大数据近似求解等内容。本书融入了作者的前期研究成果,并介绍 了基于 Hadoop、Swif构建云存储系统的实践经验。 全书在内容上共分为七章,包括云存储概述、存储技术基础、虚拟化技术、 分布式存储系统、云存储关键技术研究、基于 Hadoop构建云存储系统和基于 Openstack Swift构建云存储系统。 本书作为科研课题结项的成果,既是对项目实践经验的总结,也是对前人 研究工作的梳理,可供信息存储相关领域的系统管理人员及分析、设计、开发 人员参考,也可作为高等院校相关专业的辅修教材。 ISBN978-7-5096-4577-2 9787509645772ll 经济管理出版社网址:WwwE-mp.com.cn 定价:79.00元 作者简介 刘洋,男,1980年生,河 南方城人,博十,河南财经政 法大学云计算与大数据研究所 所长。研究方向为固态存储、 云存储和大数据处理等。主持 完成省部级项目2项,参与完 成国家863、973和国家自然科 学基金重点项目1项,作为主 要完成人参与省部级项目9项, 发表 SCUED检索论文6篇,核心 论文7篇,编写专著1部,参编 教材3部,CCF、ACM会员。 目 录 Contents 第一章云存储概述 …………001 第一节引言 ………………001 第二节云存储概述 003 第三节云存储的分类 004 第四节云存储的系统架构 007 第五节云存储的优势………………………………008 第六节云存储的主要思想 010 第七节虚拟存储容器…… 8,,,着 012 第八节云存储的互操作性 014 笫九节云存储技术基础… 017 第二章存储技术基础………… 第一节外部存储设备 021 第二节磁盘阵列……… ·+*··+.;;;; …………………048 第三节直连存储 060 第四节附网存储 …………………………068 第五节存储区域网……… ·,,,,··, 来,,,,, 072 第六节分布式文件系统 078 第七节数据保护技术… 第八节数据备份………………………………088 001 云存储技术——分析与实践 第九节镜像与快照 092 第六重基 第十节分级存储管理… 097 第十一节存储系统的功能需求 …100 第十二节存储系统的评价指标………………………………102 第三章虚拟化技术… 107 第一节虚拟化概述…………………………………………………10 第二节存储虚拟化 ,,,垂 113 第七童基 第三节系统虚拟化… ………126 第四节桌面虚拟化 ..,,,,:,,,,.,·,,.,.,,.,.,.·.,..·,,,.:·,,主 134 第五节应用虚拟化 ……………137 三 第六节典型虛拟化产品: VMware vSphere 138 第七节典型虚拟化产品: Microsoft Azure…………………145 第八节典型虚拟化产品:Xen 151 第九节典型虚拟化产品:KVM 154 参考文献 第四章分布式存储系统 159 第一节海量数据的分类 159 第二节分布式文件系统………………………………………162 第三节分布式键值系统… ………l87 第四节分布式表格系统 ·,,,,,,·, 193 第五节分布式数据库 ,,·,,,.,, 206 第五章云存储关键技术研究 213 第一节一种基于工作集副本的存储虚拟化层节能技术………213 第二节基于大规模云环境的绿色资源分配协议………………231 第三节基于MLC/SLC双模闪存芯片的闪存转换层 243 第四节面向混合存储系统的块层多顺序流预取算法 ……266 笫五节云存储环境下基于HDFS的海量小文件装箱算法 286 笫六节一种基于两级随机抽样的近似求解方法 002 目录 第六章基于 Hadoop构建云存储系统 第一节系统架构 ,,·,,,,来,,·,,,、··, 305 第二节基础配置 …………………307 第三节 Hadoop集群配置 316 第四节HDFS的Java客户端编写 323 第五节云存储平台展示… ∴……327 第七章基于 Open Stack Swift构建云存储系统…………331 第一节 Open Stack介绍… ………331 第二节 Swift介绍…………………………………333 第三节安装 Swift… 342 第四节使用Swit… 357 笫五节 Swift管理……………………………… ,,,,,,,,,·, 参考文献 …………375 003 第一章云存储概述 【本章导读】 随着人类社会进入大数据时代,新的业务环境和场景亟须建立高性价比的海 量数据存储系统。云存储是一种以数据存储和管理为核心的云计算系统,具有易 扩展、易管理、低成本、安全可靠、服务不中断等特点,是大数据时代教据存储 的首要选择。本章首先介绍了云存储的概念和分类,从层次化的视角描述了云存 储的系统结构。继而,对云存储的优势进行了梳理,讨论了云存储系统的主要设 计思想。随后,重点介绍了存储网络行业协会(SNA)和开放网格基金会 (OGF)制定的云存储标准。最后,指出了云存储的技术基础,为后续章节的展 开埋下伏笔。 第一节引言 当前,整个人类社会正在昼夜不息地创造着海量的数据。富媒体、数字通 信、网络和无数其他需求,都需要不断地去采集数据。为了弄清楚在世界范围内 到底存储了多少数据,存储巨头EMC做过一项名为“数字宇宙”( Digital Uni versity)的调查。EMC通过资助一系列相关研究,该项目对过去十年中“数字宇 宙的规模”进行了评估和报告。国际数据公司( International Data Corporation, IDC)的报告预测2020年世界范围内产生和复制的数据总量将达到惊人的4400 艾字节(EB)或44泽字节(ZB),也就是44万亿GB。数据总量非常惊人,更 为惊人的是它的增长速度,即存储数据总量大约每两年就会翻一番 IDC数字宇宙报告指出,到2020年云存储系统中通过容器( Container)管 云存储技术—分析与实践 理的存储对象,包括文件、数字图像、数据包、记录、信号等,大约会达到25 兆(1兆=10)。全部数据中,云计算平台将处理的数据超过34%,在云存储系 统中以集中托管方式管理的数据将超过14%。这意味着,数字世界中的数据已经 有很大比例存储在云中,或将要存储到云中,剩余的大部分数据也会在其使用过 程中经由云存储系统。所以在未来的数年中,云存储市场将迎来稳定持续的增长 对企事业单位来说,数据存储的需求如同黑洞一般无法填满,为了弥平数据 随着信息 生成速度和可用存储量之间越来越大的鸿沟,需要对数据的特征加以把握,通过 断提高,数据 优化云存储系统的设计来降低存储子系统的TCO。通过观察可以发现一些有趣的 群、多机系统 现象题,例如,当一个用户向三个联系人发送一封带有1GB附件的电子邮件, 数据存放节点 难以置信的是最终会产生50GB的存储数据。经过统计,只有25%的存储数据是 系。这些变化 不重复的,反过来说就是75%的存储数据是重复的。同样令人惊讶的是,世界上 一个有效地解 70%的存储数据是由个人用户生成的,其余的内容才是由企业生成的。个人用户 可以说, 成为数据的主要创造者,他们贡献了海量的用户行为数据、关系数据、无线互联 储设备构成存 网中的地理位置数据、交易数据、用户创造内容等。但存储数据中很大部分不是 等多种云存储 由用户主动发布的,而是在用户活动中以被动方式收集的,IDC称为“数字影 按需的存储资 子”( Digital shadow)。数字影子包括被监控摄像机记录的视频和照片,金融交易 云存储是 事件日志、性能数据等。人类每天收集的数据中,超过50%是影子数据。需要注 础设施的服务 意的是,大量的影子数据被存储下来,却从未被任何人分析使用过。也就是说, 集成存储、网 大部分数据的生命周期非常短,短暂保存后,就被删除。根据这些特征,可以有 率、低能耗、 针对性地优化存储策略,设计更经济的存储体系结构,以提高云存储系统的效率。 务为系统目标 云存储系统是当今最成功的云计算应用之一。无论对个人还是企业,要保证 强大存储服务 数据拥有期望的生命周期,把数据存储在云中无疑是最经济可靠的选择。根据提 云存储以 供给用户的存储接口进行归类,云存储可以分为非可管理型或可管理型。非可管 进行昂贵的设 理型云存储呈现给用户的逻辑抽象是一个可以立即使用的磁盘驱动器。但对于磁 用率,屏蔽了 盘驱动器以何种模式工作,用户并没有被赋予足够的控制权。大多数面向用户的 可伸缩性、可 云存储应用属于非可管理型,如文件备份、共享等云存储应用。非可管理型云存 云存储的 储应用程序提供软件即服务(SaS)类型的Web服务。可管理型云存储需要用 云存储对存储 户对原生虚拟化磁盘进行配置,从而使其支持基于云存储的应用程序。可管理型 性。这些特性 云存储的接口支持格式化、分区、复制数据和其他配置选项。基于可管理型云存 大多数普通用 储的应用程序提供基础设施即服务(aS)类型的Web服务。 用户使用云存 型的软件进行 002

...展开详情
试读 127P 云存储技术-分析与实践
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
上传资源赚钱or赚积分
最新推荐
云存储技术-分析与实践 34积分/C币 立即下载
1/127
云存储技术-分析与实践第1页
云存储技术-分析与实践第2页
云存储技术-分析与实践第3页
云存储技术-分析与实践第4页
云存储技术-分析与实践第5页
云存储技术-分析与实践第6页
云存储技术-分析与实践第7页
云存储技术-分析与实践第8页
云存储技术-分析与实践第9页
云存储技术-分析与实践第10页
云存储技术-分析与实践第11页
云存储技术-分析与实践第12页
云存储技术-分析与实践第13页
云存储技术-分析与实践第14页
云存储技术-分析与实践第15页
云存储技术-分析与实践第16页
云存储技术-分析与实践第17页
云存储技术-分析与实践第18页
云存储技术-分析与实践第19页
云存储技术-分析与实践第20页

试读结束, 可继续阅读

34积分/C币 立即下载 >