NoSQL_.pdf资源-CSDN文库

5星 · 超过95%的资源需积分: 9 115 浏览量 2011-04-12 22:23:17 上传评论 1 收藏 2.82MB PDF 举报

日前国内没有一套比较完整的NoSQL数据库资料，有很多先驱整理发表了很多，但不是很系统。不材尝试着将各家的资料整合一下，并书写了一些自己的见解。本书写了一些目前的NoSql的一些主要技术，算法和思想。同时列举了大量的现有的数据库实例。读完全篇，相信读者会对NoSQL数据库了解个大概。另外我还准备开发一个开源内存数据库galaxydb.本书也是为这个数据库提供一些架构资料 ### NoSQL数据库关键技术与思想 #### 一、概述 NoSQL(Not Only SQL)数据库是一种非关系型数据库管理系统，它打破了传统的关系型数据库在数据存储和处理方面的限制，旨在解决大规模分布式环境中数据存储的需求。随着互联网的发展，海量数据的处理需求越来越强烈，NoSQL数据库因其灵活性、可扩展性和高性能等特点，逐渐成为大数据处理领域的主流选择之一。 #### 二、NoSQL的核心思想和技术 ##### 1. CAP理论 CAP理论是由Eric Brewer提出的，它指出了在网络分区的情况下，分布式系统只能同时满足一致性(Consistency)、可用性(Availability)和分区容忍性(Partition tolerance)这三个要素中的两个。NoSQL数据库通常会牺牲一定的强一致性来换取高可用性和分区容忍性。 - **一致性**：每个读操作总是能够读到最新的写操作结果。 - **可用性**：每个请求无论成功与否都能得到响应。 - **分区容忍性**：即使部分节点之间网络分区的情况下，系统仍然能继续工作。 ##### 2. 最终一致性最终一致性是指在一系列更新操作后，所有节点最终都将达到一致的状态。这是一种弱一致性模型，在很多NoSQL数据库中都有应用。 ##### 3. 变体除了标准的CAP理论之外，还有其他变体，如： - **BASE**：基本可用(Basically Available)、软状态(Soft State)、最终一致(Eventually Consistent)。这是一种比CAP更加宽松的一致性模型。 - **其他**：还包括I/O的五分钟法则、不要删除数据、RAM是硬盘,硬盘是磁带等实用规则。 ##### 4. Amdahl定律和Gustafson定律 - **Amdahl定律**：描述了在多处理器系统中，程序并行化的极限。 - **Gustafson定律**：提出了另一种看待问题的角度，即随着计算机资源的增加，问题规模也可以相应扩大。 ##### 5. 万兆以太网随着网络速度的提升，万兆以太网已经成为数据中心内部通信的标准，这对于提高NoSQL数据库的性能至关重要。 #### 三、NoSQL的关键技术手段 NoSQL数据库通过多种技术手段实现了其核心目标： ##### 1. 一致性哈希一致性哈希算法用于解决分布式系统中数据分布的问题，确保数据能在集群中均匀分布，同时在节点增减时尽可能减少数据迁移量。 ##### 2. QuorumNRW QuorumNRW机制用于处理分布式系统中读写操作的一致性问题，通过定义不同的N（副本数量）、R（读取阈值）和W（写入阈值），可以灵活地调整系统的性能和可靠性。 ##### 3. Vectorclock Vectorclock是一种用于检测并发操作的版本控制机制，它可以用来判断数据项是否过期或是否需要合并。 ##### 4. Virtualnode Virtualnode是提高一致性哈希算法性能的一种方法，通过引入虚拟节点可以进一步提高数据分布的均匀性。 ##### 5. Gossip Gossip协议是一种去中心化的成员管理和状态传播机制，常用于NoSQL数据库的节点间通信。 ##### 6. Merkletree Merkletree是一种树形数据结构，用于高效验证数据完整性和一致性，特别是在分布式系统中。 ##### 7. Paxos Paxos是一种分布式一致性算法，被广泛应用于分布式系统的设计中，特别是那些需要高度一致性的场景。 ##### 8. DHT DHT（Distributed Hash Table）是一种分布式哈希表，用于在无中心服务器的情况下存储和检索数据。 #### 四、NoSQL数据库实例分析本书还列举了大量的现有NoSQL数据库实例，包括但不限于： - **MemCached**：一种高速缓存系统，主要用于减轻数据库负载。 - **HBase**：基于Hadoop的分布式列式存储系统。 - **Cassandra**：Facebook开发的分布式列式存储系统，特别适合处理大规模数据。 - **MongoDB**：一种面向文档的NoSQL数据库。 - **BigTable**：Google的分布式数据库系统，用于处理大规模结构化数据。 #### 五、NoSQL数据库的未来展望 NoSQL数据库的发展趋势正在朝着更加成熟和多样化方向发展，未来可能会出现更多针对特定应用场景优化的NoSQL解决方案。同时，NoSQL数据库与传统关系型数据库之间的界限也将变得更加模糊，混合数据库将成为新的发展趋势。 #### 六、结语 NoSQL数据库以其独特的技术和思想，为大数据时代的数据存储和处理提供了强有力的支持。通过对NoSQL核心技术和实例的深入理解，我们可以更好地应对当前及未来的数据挑战。此外，书中还提到了作者准备开发的一个名为GalaxyDB的开源内存数据库项目，这无疑将进一步推动NoSQL领域的发展。

资源推荐

资源详情

资源评论

NoSQL数据库笔谈数据库笔谈

颜开

v0.2

2010.2

1. 序序 ................................................................................................... 3

2. 思想篇思想篇.............................................................................................. 4

CAP .............................................................................................. 4

最终一致性...................................................................................... 5

变体 ........................................................................................... 5

BASE ............................................................................................ 6

其他 .............................................................................................. 6

I/O的五分钟法则............................................................................ 6

不要删除数据 ................................................................................ 7

RAM是硬盘,硬盘是磁带.................................................................... 8

Amdahl定律和Gustafson定律........................................................... 9

万兆以太网 ................................................................................. 10

3. 手段篇手段篇............................................................................................ 10

一致性哈希.................................................................................... 10

亚马逊的现状............................................................................ 12

算法的选择 .............................................................................. 12

Quorum NRW............................................................................... 12

Vector clock................................................................................. 13

Virtual node................................................................................. 14

gossip......................................................................................... 15

Gossip (State Transfer Model) ..................................................... 15

Gossip (Operation Transfer Model) ............................................... 17

Merkle tree .................................................................................. 20

Paxos ......................................................................................... 20

背景 ......................................................................................... 20

DHT............................................................................................ 22

Map Reduce Execution .................................................................. 23

Handling Deletes .......................................................................... 23

存储实现....................................................................................... 23

节点变化....................................................................................... 25

列存 ............................................................................................ 27

描述 ......................................................................................... 27

特点 ......................................................................................... 28

4. 软件篇软件篇............................................................................................ 28

亚数据库....................................................................................... 28

MemCached .............................................................................. 28

特点....................................................................................... 28

内存分配 ................................................................................. 30

缓存策略 ................................................................................. 30

缓存数据库查询......................................................................... 30

数据冗余与故障预防 ................................................................... 31

Memcached客户端（mc） .......................................................... 31

缓存式的Web应用程序架构 .......................................................... 31

性能测试 ................................................................................. 31

dbcached.................................................................................. 32

Memcached 和 dbcached 在功能上一样吗? .................................... 32

列存系列....................................................................................... 33

Hadoop之Hbase ......................................................................... 33

耶鲁大学之HadoopDB................................................................... 34

GreenPlum................................................................................ 34

FaceBook之Cassandra ................................................................ 34

Cassandra特点 ........................................................................ 35

Keyspace ............................................................................... 35

Column family（CF） ............................................................... 35

Key....................................................................................... 35

Column.................................................................................. 35

Super column ......................................................................... 36

Sorting .................................................................................. 36

存储....................................................................................... 37

API ....................................................................................... 37

Google之BigTable....................................................................... 38

Yahoo之PNUTS .......................................................................... 39

特点....................................................................................... 39

PNUTS实现 ............................................................................. 39

Record-level mastering 记录级别主节点 ..................................... 39

PNUTS的结构........................................................................ 40

Tablets寻址与切分.................................................................. 41

Write调用示意图 .................................................................... 41

PNUTS感悟 ............................................................................. 42

微软之SQL数据服务 ...................................................................... 42

非云服务竞争者 .............................................................................. 43

文档存储....................................................................................... 43

CouchDB .................................................................................. 43

特性....................................................................................... 43

Riak......................................................................................... 44

MongoDB.................................................................................. 44

Terrastore ................................................................................ 45

ThruDB .................................................................................... 45

Key Value / Tuple 存储................................................................... 45

Amazon之SimpleDB.................................................................... 45

Chordless ................................................................................. 45

Redis ....................................................................................... 45

Scalaris .................................................................................... 46

Tokyo cabinet / Tyrant ............................................................... 46

CT.M........................................................................................ 47

Scalien ..................................................................................... 47

Berkley DB ............................................................................... 47

MemcacheDB ............................................................................ 47

Mnesia ..................................................................................... 48

LightCloud ................................................................................ 48

HamsterDB ............................................................................... 48

Flare ........................................................................................ 48

最终一致性Key Value存储 ................................................................ 49

Amazon之Dynamo ..................................................................... 49

功能特色 ................................................................................. 49

架构特色 ................................................................................. 49

BeansDB .................................................................................. 50

简介....................................................................................... 50

更新....................................................................................... 50

特性....................................................................................... 50

性能....................................................................................... 50

Nuclear .................................................................................... 51

两个设计上的Tips ...................................................................... 51

Voldemort................................................................................. 51

Dynomite ................................................................................. 52

Kai .......................................................................................... 53

未分类 ......................................................................................... 53

Skynet ..................................................................................... 53

Drizzle ..................................................................................... 53

比较 ............................................................................................ 54

可扩展性.................................................................................... 54

数据和查询模型............................................................................ 54

持久化设计 ................................................................................. 55

5. 应用篇应用篇............................................................................................ 55

eBay 架构经验............................................................................... 55

淘宝架构经验 ................................................................................. 56

Flickr架构经验 ............................................................................... 56

Twitter运维经验............................................................................. 56

运维经验.................................................................................... 56

Metrics .................................................................................. 56

配置管理 ................................................................................. 57

Darkmode.............................................................................. 57

进程管理 ................................................................................. 57

硬件....................................................................................... 57

代码协同经验 .............................................................................. 58

Review制度............................................................................. 58

部署管理 ................................................................................. 58

团队沟通 ................................................................................. 58

Cache ...................................................................................... 58

云计算架构.................................................................................... 58

反模式 ......................................................................................... 60

单点失败（Single Point of Failure） ................................................ 60

同步调用.................................................................................... 60

不具备回滚能力............................................................................ 60

不记录日志 ................................................................................. 60

无切分的数据库............................................................................ 60

无切分的应用 .............................................................................. 60

将伸缩性依赖于第三方厂商.............................................................. 61

OLAP .......................................................................................... 61

OLAP报表产品最大的难点在哪里？.................................................... 61

NOSQL们背后的共有原则.................................................................. 61

假设失效是必然发生的 ................................................................... 62

对数据进行分区............................................................................ 62

保存同一数据的多个副本................................................................. 62

动态伸缩.................................................................................... 62

查询支持.................................................................................... 62

使用 Map/Reduce 处理汇聚 ........................................................... 63

基于磁盘的和内存中的实现.............................................................. 63

仅仅是炒作?................................................................................ 63

6. 附附 ................................................................................................. 64

感谢 ............................................................................................ 64

版本志 ......................................................................................... 64

引用 ............................................................................................ 64

序序

日前国内没有一套比较完整的NoSQL数据库资料，有很多先驱整理发表了很多，但不是很系统。不材

尝试着将各家的资料整合一下，并书写了一些自己的见解。

本书写了一些目前的NoSql的一些主要技术，算法和思想。同时列举了大量的现有的数据库实例。读完

全篇，相信读者会对NoSQL数据库了解个大概。

另外我还准备开发一个开源内存数据库galaxydb.本书也是为这个数据库提供一些架构资料。

思想篇思想篇

CAP，BASE和最终一致性是NoSQL数据库存在的三大基石。而五分钟法则是内存数据存储了理论依

据。这个是一切的源头。

CAP

• C: Consistency 一致性

• A: Availability 可用性(指的是快速获取数据)

• P: Tolerance of network Partition 分区容忍性(分布式)

10年前，Eric Brewer教授指出了著名的CAP理论，后来Seth Gilbert 和 Nancy lynch两人证明了CAP理论

的正确性。CAP理论告诉我们，一个分布式系统不可能满足一致性，可用性和分区容错性这三个需求，

最多只能同时满足两个。

熊掌与鱼不可兼得也。关注的是一致性，那么您就需要处理因为系统不可用而导致的写操作失败的情

况，而如果您关注的是可用性，那么您应该知道系统的read操作可能不能精确的读取到write操作写入

的最新值。因此系统的关注点不同，相应的采用的策略也是不一样的，只有真正的理解了系统的需求，

才有可能利用好CAP理论。

作为架构师，一般有两个方向来利用CAP理论

1. key-value存储，如Amaze Dynamo等，可根据CAP三原则灵活选择不同倾向的数据库产品。

2. 领域模型 + 分布式缓存 + 存储（Qi4j和NoSql运动），可根据CAP三原则结合自己项目定制灵

活的分布式方案，难度高。

我准备提供第三种方案：实现可以配置CAP的数据库，动态调配CAP。

• CA：传统关系数据库

• AP：key-value数据库

而对大型网站，可用性与分区容忍性优先级要高于数据一致性，一般会尽量朝着 A、P 的方向设计，然

后通过其它手段保证对于一致性的商务需求。架构设计师不要精力浪费在如何设计能满足三者的完美分

布式系统，而是应该进行取舍。

不同数据对于一致性的要求是不同的。举例来讲，用户评论对不一致是不敏感的，可以容忍相对较长时

间的不一致，这种不一致并不会影响交易和用户体验。而产品价格数据则是非常敏感的，通常不能容忍

超过10秒的价格不一致。

CAP理论的证明：Brewer's CAP Theorem

最终一致性最终一致性

一言以蔽之：过程松，结果紧，最终结果必须保持一致性

为了更好的描述客户端一致性，我们通过以下的场景来进行，这个场景中包括三个组成部分：

• 存储系统

存储系统可以理解为一个黑盒子，它为我们提供了可用性和持久性的保证。

• Process A

ProcessA主要实现从存储系统write和read操作

• Process B 和ProcessC

ProcessB和C是独立于A，并且B和C也相互独立的，它们同时也实现对存储系统的write和

read操作。

下面以上面的场景来描述下不同程度的一致性：

• 强一致性

强一致性（即时一致性）假如A先写入了一个值到存储系统，存储系统保证后续A,B,C的读

取操作都将返回最新值

• 弱一致性

假如A先写入了一个值到存储系统，存储系统不能保证后续A,B,C的读取操作能读取到最新

值。此种情况下有一个“不一致性窗口”的概念，它特指从A写入值，到后续操作A,B,C读取到

最新值这一段时间。

• 最终一致性

最终一致性是弱一致性的一种特例。假如A首先write了一个值到存储系统，存储系统保证如

果在A,B,C后续读取之前没有其它写操作更新同样的值的话，最终所有的读取操作都会读取

到最A写入的最新值。此种情况下，如果没有失败发生的话，“不一致性窗口”的大小依赖于以

下的几个因素：交互延迟，系统的负载，以及复制技术中replica的个数（这个可以理解为

master/salve模式中，salve的个数），最终一致性方面最出名的系统可以说是DNS系统，

当更新一个域名的IP以后，根据配置策略以及缓存控制策略的不同，最终所有的客户都会看

到最新的值。

变体变体

• Causal consistency（因果一致性）

如果Process A通知Process B它已经更新了数据，那么Process B的后续读取操作则读取A

写入的最新值，而与A没有因果关系的C则可以最终一致性。

• Read-your-writes consistency

如果Process A写入了最新的值，那么Process A的后续操作都会读取到最新值。但是其它

用户可能要过一会才可以看到。

• Session consistency

此种一致性要求客户端和存储系统交互的整个会话阶段保证Read-your-writes

consistency.Hibernate的session提供的一致性保证就属于此种一致性。

• Monotonic read consistency

剩余63页未读，继续阅读

评论收藏

内容反馈

zj1811292

2013-02-18

可作为入门资料，毕竟国内的相关资料太少，相当不错了
多栖码农

2012-07-17

资料不错,在国内有关NoSQL的资料如此缺乏的情况下,能有这么一篇详细而又易懂的文章,真是很好啊.虽然大多是理论知识,但对于理解NoSQL还是很有帮助的.
yexiaomin

2014-08-18

内容还是很不错的，值得阅读
xueshiqi

2013-07-31

很不错，对入门有很多的帮助
xiaoshuben9999

2013-12-25

入门级书籍，值得一看