大数据挑战与NoSQL数据库技术

所需积分/C币:9 2014-03-09 2.22MB PDF
评分

大学生大数据学习教材,已经勘误并改正,全彩无水印
前 为什么写本书 计算机技术已经深刻地景响了我们的工作、学习和生活。大数据及 NOSQL技术是当下TT 领域最炙手可热的话题,其发展非常迅速,潜力巨大,悄然改变着整个行业的面貌。随着Web2.0 技术的发展,微博、社交网络、电子商努、生物工程等领域的不断发展,各领域教据呈现爆炸 式的增长,传统关系型数据库越来越显得力不从心。 NOSQL数据库技术的出现为眼下的问题提 供了新的解决方案,它摒弃∫传统关系型教据库ACⅠD的特性,采用分布式多节点的方式,更 加适合大数据的存储和管理。 政府和高校都丨分重视对大数据及 NOSQL技术的研究和投入;在产业界,各大IT公司也 在投入大量的资源研究和开发相关的 NOSQL产品,与之相应的新兴技术和产品正在不断涌现。 这一切都极大地推动了 NOSQL技术的发展 大数据处理和 NOSQL技术涉及的内容繁多,日前不同公司也有不同的 NOSQL数据库产品, 而且某一产品往往是为特定的应用而设计的,并不一定能够适用于所有的场景。很多人在学习 的初始阶段需要进行大量的摸索和实践,然而日前这方面系统的参考资料却非常少。为了便于 所有想了解和掌握 NOSQL技术的朋友学习并在学习的过程中少走弯路,笔者将自己在该领域 的绎验和积萘凝聚成∫这本书,希望能够推动大数据处理及 NOSQL相关技术在国内的发展。 本书面向的读者 在编写本书时,我们力图使不同背景和职业的读者都能从其中获益。 如果你是专业技术人员,木书将带领你快速度进入大数据处理及 NOSQL的世界,全面掌 探 NOSQL及其相关技术,能帮助你使用 NOSQL技术解决当前面临的问题或提供必要的参考。 如果你是高等院校计算机及相关专业的学生,本书为你在课堂之外了解最新的IT打开一扇 Ⅳ|大数据挑战和 NOSQL数据库技术 窗户,能帮助你拓宽视野,完善知识结构,为迎接未来的挑战做好知识准备。 在学习本书之前,应具有如下的基础: 有一定的 Linux操作系统的基础知识。 ●冇较好的编程基础和阅读代码的能力。 ●对数据库知识有一定的了解。 如何阅读本书 木书共包括16章,分为三个部分。其中第·部分为理论篇,包括:大数据产生的背景, 数据一致性理论、据冇储模型、数据分区与防治策略、海量数据处理方法、数据复制与容错 技术、数据压缩技术和数据缓存技术。此部分重点从理论上介绍、分析大数据管理过程中遇到 的各方面问题。第二部分为系统篇,包括:键值数据库、列冇数据库、文档数据库、图存数据 库、基于 Hadoop的数据库管理系统、 NOSQL数据库以及分布式缓存系统。该部分以理论篇为 基础,根据数据存储模型对数据库类型进行划分,每一部分以具体开源数据库为实例进行介绍, 涉及系统的架构、安装以及使用等方面,力图使读者对 NOSQL数据库有具体的认识。第三部 分为应用篇,包括企业应用以及总结和展望。该部分介绍企业如何使用 NOSQL数据库解决白 身遇到的问题。 在阅读木书吋时,读者可以先系统地学习理论篇的知识,目的是对海量数据处理方法有个 很好的理解,在此基础之上,读者可以对后面的章节进行选择性的学习。本书涉及內容较多, 从丌源数据库方面讲,包括了 Dynamo、 Redis、 Voldemort、 Cassandra、 Hypertable、 CouchDB、 MongoL、Neo4j、 GraphDB、 Oriente、 HBase、Hive、Pig、 MySQL Cluster、 VolteDB、 MS-Velocity、 Memcached等将近20个数据库。因此,建议读者可以重点学习感兴趣或有一定需求的数据库 系统。当然,如果时间允许,还是建议读者系统地学习本书的内容。 另外,在系统篇的学习过程中,建议读者能够一边阅读,一边根据书中的指导动手实践, 亲白实践本书中所给出的编程范例。 致谢 在本书的编写过程中,还有很多 NOSQL领域的实践者和研究者为本书做了大量的工作, 他们是张林林、许翔、程明、王海涌、顾向楠、吴少辉、杨宁、杨华、吴梦迪、任乔意、於洋 张轩等,在此特别感谢。 前营|V 在线资源及勘误 本书官方网站为:hp:/ datasearch, uc. edu. cn/ NOSQLA。本书的勘误、讨论以及相关资料等 都会在该网站上发布和更新。 在本书的撰与和相关技术的研究中,尽管笔者投入了大量的精力,付出了艰辛的努力,然 而受知识水平所限,错误和疏漏之处在所难免,恳请大家批评指正。如果有任何问题和建议, 可发送邮件至jiahengluc@gmail.com或jiaheng@aruc.edu.cn 陆嘉恒 目录 第1章概论 1.1引子 ,等 ,,,,,,,, 1.2大数据挑战……………………… 1.3大数据的存储和管理 235 1.3.1并行数据库…………… 1.32 NOSQL数据管理系统 33 New SQI数据管理系统……… 1.3.4云数据管理 14大数据的处理和分析 1.5小结 ·“““· 13 参考文献… 13 理论篇 第2章数据一致性理论 16 2.1CAP理论… ·面 …17 2.2数据一致性模型… 21 2.3ACID与BASE……… 24数据一致性实现技术 …23 2.4 I Quorn系统NRW策略 23 242两阶段提交协议 24 2.4.3时间戳策略 27 2.4.4 Paxos…… …30 目录|Ⅶ 24.5向量时钟…… ………38 2.5小结……… ·非 ………43 参考文献 43 第3章数据存储模型 …45 3.1总论……… ………………46 3.2键值存储 48 3.2.1Re 49 3.2.2 Dynamo 49 3.3列式存储 50 3.3 I Bigtable… 51 3.32 Cassandra与 HBase… 34文档存储 4. MongodB 53 3.4.2 CouchDB… 3.5图形存储 4 351Neo4j… 55 3.5.2 GraphDB 3.6木章小结 56 参考文献 56 第4章数据分区与放置策略… 音面面 ……58 4.1分区的意义 5 4.1.1为什么要分区 4.1.2分区的优点 4.2范围分区 43列表分区 44哈希分区 ……………………………63 4.5三种分区的比较 64 4.6放置策略…… …64 4.6. 致性哈希算法 …………………………65 462容错性与可扩展性分析 …66 4.6.3虚拟节点…………… V大数据挑战和 NOSQL数据库技术 4.7小结 69 参考文献 第5章海量数据处理方法……… ………………………70 5 Map reduce简介 71 5.2 Map reduce数据流…………… 53 Mapreduce?据处理 75 5.3.1提交作业· ……76 5.32初始化作业 533分配任务 34执行任务 79 535更新任务执行进度和状态… 80 536完成作业 54 Dryad简介… 81 54. 1 DES CoSmos介绍 82 542Dyad执行引擎 84 543 DryadLINQ解释引擎………… ……………86 544 DryadLINQ编程… ……88 5.5Dyad数据处理步骤… 和·垂 56 MapReduce vs dryad… 5.7小结… ……94 参考文献 第6章数据复制与容错技术… 96 6.1海量数据复制的作用和代价 ………97 62海量数据复制的策略· 97 62! Dynamo的数据厍复制策略 ………………………………97 6.2.2 CouchDB的复制策略 …99 6.2.3 PNUTS的复制策略 6、3海量数据的故障发现与处理 …………101 6.31 Dynamo的数据库的故障发现与处理……… 101 6.3.2 CouchDB的故障发现与处理 103 633 PNUTS的故障发现与处理…………… ……………103 目录 64小 104 参考文献 104 第7章数据压缩技术… 105 7.1数据压缩原理 106 7.1.1数据压缩的定义… 106 7.1.2数据为什么可以压缩……………………… 107 7.1.3数据压缩分类 …107 72传统压缩技术1… 2.1霍夫曼编码 …108 7.22LZ77算法…… …109 7.3海量数据带来的3V挑战 …112 74 Oracle混合列压缩……………… 113 7.4.1仓库压缩 ……114 742存档压缩 114 75 Google数据压缩技术…… ………115 7.51寻找长的重复串……… 115 7.52压缩算法 …116 76 Hadoop压缩技术 和·垂 118 7.61LZO简介 118 7.62LZO原理S…… 119 77小结 ……121 参考文献……… ……121 第8章缓存技术… 122 8.1分布式缓存简介……………… ……123 8.1.1分布式缓存的产生 …………………123 81.2分布式缓存的应用 123 81.3分布式缓存的性能 ………………124 814衡量可用性的标准 125 82分布式缓存的内部机制 125 821生命期机制 ……126 8.22一致性机制… ……………126 X|大数据挑战和 NOSQL数据库技术 823值读与直写机制… ………………129 82.4查询机制 …130 82.5事件触发机制 ……………130 8.3分布式缓存的拓扑结构 …130 831复制式拓扑…………………………… …………………………131 832分割式拓扑……… ··········· 131 8.3.3客户端缓存拓扑 …131 84小结…… “········4······ …………………………………132 参考文献 132 系统篇 第9章key-va|ue数据库…… 134 9. I key-value模型综述 134 9.2 Redis…… ··4···· 135 921 Redis概述 ····:::···4··· 13 92.2 Redis下载与安装 ……………135 923 Redis入门操作 136 924 Redis在业内的应用 …143 9.3 Voldemort 143 9.31 Voldemort概述… ……143 932 Voldemort下载与安装…… ………………144 93.3 Voldemort配置 ……………………145 934 Voldemo开发介绍3………… 147 94小结 149 参考文献… …149 第10章 Column- Oriented数据库 ……………………………………150 10.1 Column- Oriented数据库简介 l51 10.2 Bigtable数据厍………… ……151 10.21 Bigtable数据库简介………………………………… …………151 10.22 Bigtable数据模型 …152 10.23 Bigtable基础架构……… 154

...展开详情
立即下载 最低0.43元/次 身份认证VIP会员低至7折
举报 举报 收藏 收藏
分享
6.2MB
数据挑战NoSQL数据库技术 pdf 全

大数据挑战与NoSQL数据库技术 pdf 全 大数据挑战与NoSQL数据库技术 pdf 全

2018-05-16 立即下载
1.95MB
数据挑战NoSQL数据库技术 (PDF版)- 陆嘉恒编著

《大数据挑战与NoSQL数据库技术》 - 陆嘉恒编著

2014-02-28 立即下载
6.79MB
数据挑战NoSQL数据库技术.pdf

本书共分为三部分。理论篇重点介绍大数据时代下数据处理的基本理论及相关处理技术,并引入NoSQL 数据库;系统篇主要介绍了各种类型 NoSQL 数据库的基本知识;应用篇对国内外几家知名公司在利用 NoSQL 数据库处理海量数据方面的实践做了阐述。 本书对大数据时代面临的挑战,以及 NoSQL 数据库的基本知识做了清晰的阐述,有助于读者整理思路,了解需求,并更有针对性、有选择地深入学习相关知识。

2017-05-23 立即下载
1.97MB
数据挑战NoSQL数据库技术PDF

大数据挑战与NoSQL数据库技术

2018-09-01 立即下载
1.97MB
数据-大数据挑战NoSQL数据库技术

《大数据挑战与NoSQL数据库技术》共分为三部分。理论篇重点介绍大数据时代下数据处理的基本理论及相关处理技术,并引入NoSQL数据库;系统篇主要介绍了各种类型NoSQL数据库的基本知识;应用篇对国内外几家知名公司在利用NoSQL数据库处理海量数据方面的实践做了阐述。   《大数据挑战与NoSQL数据库技术》对大数据时代面临的挑战,以及NoSQL数据库的基本知识做了清晰的阐述,有助于读者整理思路,了解需求,并更有针对性、有选择地深入学习相关知识。

2018-01-05 立即下载
2.22MB
数据挑战NoSQL数据库技术

大数据挑战与NoSQL数据库技术 清晰 大数据挑战与NoSQL数据库技术 清晰 大数据挑战与NoSQL数据库技术 清晰 大数据挑战与NoSQL数据库技术 清晰

2017-09-08 立即下载
36.76MB
Twitter手机端安装包--Android

Android手机Twitter客户端,很多时候下载特别慢,希望对你有帮助。

2017-09-29 立即下载
1.5MB
60分钟学会OrCAD-Capture-CIS

60分钟学会OrCAD-Capture-CIS 很不错的资料,推荐给大家

2017-09-29 立即下载
191KB
Camtasia 9安装及破解方法绝对有效

附件中注册方法亲测有效,加以整理与大家共享。 由于附件大于60m传不上去,另附Camtasia 9百度云下载地址。免费自取 链接:http://pan.baidu.com/s/1kVABnhH 密码:xees

2017-10-16 立即下载
8.18MB
exe表白神器.rar

这是一个程序员像妹子表白专用代码,加压之后可以看到是一个exe文件,童鞋们可以对这个文件进行修改,然后向妹纸表白~~~

2017-10-30 立即下载
95.25MB
50个微信小程序模板

50个微信小程序模板板欢迎下载。

2017-11-13 立即下载
79KB
在线磁力链接种子文件边下边播源码

磁力云播 一个在任何地方都能解析磁力链接和种子文件的网站 它使用了 WebTorrent - 种子文件和磁力链接解析客户端的网站 WebTorrent 使用了 WebRTC进行真正的点对点传输。不需要浏览器插件,扩展或程序安装。 实例:https://magnet.vmgirls.com

2017-12-28 立即下载
2.06MB
中文字幕遮挡工具

中文字幕遮挡工具(看美剧电影学英语的同学必备) 中文字幕遮挡工具(看美剧电影学英语的同学必备)

2018-01-12 立即下载
70.38MB
最新的微信小程序源码

最新的微信小程序源码70多个很多行业都有加后台

2018-01-13 立即下载
32KB
一个很漂亮的黄色的导航

非常漂亮的导航 黄色的1111111111111

2009-02-18 立即下载
img

关注 私信 TA的资源

上传资源赚积分,得勋章
相关内容推荐