海量数据下的分布式存储与计算海量数据下的分布式存储与计算
存储
从理论角度
提到大数据存储nosql是不得不提的一个部分,CAP，BASE，ACID这些原理在过去的一些年对其有着一定的指导作用(近年来
随着各种实时计算模型的发展，CAP也被渐渐打破)
CAP：（Consistency-Availability-Partition Tolerance
数据一致性（C）： 等同于所有节点访问同一份最新的数据副本；
对数据更新具备高可用性（A）： 在可写的时候可读, 可读的时候可写，最少的停工时间
能容忍网络分区（P）
eg：
传统数据库一般采用CA即强一致性和高可用性
nosql，云存储等一般采用降低一致性的代价来获得另外2个因素
ACID：按照CAP分法ACID是许多CA型关系数据库多采用的原则：
A：Atomicity原子性，事务作为最小单位，要么不执行要么完全执行
C：Consistency一致性，一个事务把一个对象从一个合法状态转到另一个合法状态，如果交易失败，把对象恢复到前一个合
法状态。即在事务开始之前和事务结束以后，数据库的完整性约束没有被破坏
I：Isolation独立性（隔离性），事务的执行是互不干扰的，一个事务不可能看到其他事务运行时，中间某一时刻的数据。
D：Durability：事务完成以后，该事务所对数据库所作的更改便持久的保存在数据库之中，并不会被回滚
BASE：一般是通过牺牲强一致性，来换取可用性和分布式
BA：Basically Aavilable基本可用：允许偶尔的失败，只要保证绝大多数情况下系统可用
S：Soft State软状态：无连接？无状态？
E：Eventual Consistency最终一致性：要求数据在一定的时间内达到一致性
以云存储为例：目前的云存储多以整体上采用BASE局部采用ACID，由于使用分布式使用多备份所以多采用最终一致性
Nosql常见的数据模型有key/value和Schema Free（自由列表模式）两种，
key/value，每条记录由2个域组成，一个作为主键，一个存储记录的数据（mongodb）
Schema Free， 每条记录有一个主键，若干条列组成，有点类似关系型数据库（hbase）
在实现这些模型的时候基本使用2种实现方式：哈希加链表，或者B+树的方式
哈希加链表：通过将key进行哈希来确定存储位置，相同哈希值的数据存储成链表
资源评论
