没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
从入门到精通
学习教程
!"#
一、 技术介绍
简介
,是一个高可靠性、高性能、面向列、可伸缩的
分布式存储系统,利用 技术可在廉价 上搭建起大规模结构
化存储集群。
是 的开源实现,类似 利用 作
为其文件存储系统, 利用 作为其文件存储系统;
运行 来处理 中的海量数据, 同样利用
来处理 中的海量数据; 利用
作为协同服务, 利用 作为对应。
上图描述
了
! 中的各层系统,其中 位于结构化存储层,
为 提供了高可靠性的底层存储支持, 为
提供了高性能的计算能力, 为 提供了稳定服务和 "
机制。
此外, 和 还为 提供了高层语言支持,使得在 上进行数
据统计处理变的非常简单。 # 则为 提供了方便的 数据导
入功能,使得传统数据库数据向 中迁移变的非常方便。
访问接口
$%&&&&&&'()*,最常规和高效的访问方式,适合
( 并行批处理 表数据
+%&&&&&&, 的命令行工具,最简单的接口,适合 管
理使用
,%&&&&&&-".,利用 -" 序列化技术,支持 /
/,,0 等多种语言,适合其他异构系统在线访问 表数据
1%&&&&&& -.,支持 -风格的 )* 访问 2解除了语
言限制
3%&&&&&&,可以使用 40 流式编程语言来操作 中的数据,和
类似,本质最终也是编译成 ( 来处理 表数据,适
合做数据统计
5%&&&&&&,当前 的 版本尚没有加入对 的支持,但在
下一个版本 6%7%6 中将会支持 ,可以使用类似 84 语言来访问
数据模型
$%&#&'% (&)%*
+"&
,*
$
'% (&)%*
-+. /00
$
, 9:;;...%%!
9天天特价
+ 9%!
$
+
3 9:;;...%%!
009每天…
1 9%!
<&.=:行键,- 的主键,- 中的记录按照 .= 排序
<&-!!:时间戳,每次数据操作对应的时间戳,可以看作是数据的
00!
<&!0!:列簇,- 在水平方向有一个或者多个 !0
! 组成,一个 !0! 中可以由任意多个 !0 组成,即
!0! 支持动态扩展,无需预先定义 !0 的数量以及类型,所
有 !0 均以二进制格式存储,用户需要自行进行类型转换。
$%&#&+1(
当 - 随着记录数不断增加而变大后,会逐渐分裂成多份 ,成为
0,一个 0 由>20?表示,不同的 0 会被
分配给相应的 0 进行管理:
2+!!$2
##&3$&$%
中有两张特殊的 -,@AA-@和% -)%
<&% -)%:记录了用户表的 0 信息,% -)%可以有多个 0
<&@AA-@:记录了% -)%表的 0 信息,@AA-@只有一个 0
<& 中记录了@AA-@表的 0
0 访
问用户数
据之前需
要首先访
问
B,然后访问@AA-@表,接着访问% -)%表,最后才能找到用户数
据的位置去访问,中间需要多次网络操作,不过 0 端会做 缓存。
3+ &(&
在 系统上运行批处理运算,最方便和实用的模型依然是
,如下图:
- 和 0 的关系,比较类似 和 的关系,
提供了配套的 -*0! 和 -A!)*,可
以方便的将 - 作为 的 和 0,对
于 ( 应用开发人员来说,基本不需要关注 系统自身的
细节。
系统架构
'%(
0 使用 的 机制与 和 0 进行
通信,对于管理类操作,0 与 进行 ;对于数据读写类操作,
0 与 0 进行
450
8! 中除了存储了@AA-@表的地址和 的地址,
0 也会把自己以 ! 方式注册到 中,使得
可以随时感知到各个 0 的健康状态。此外,
也避免了 的单点问题,见下文描述
30
剩余63页未读,继续阅读
资源评论
haoweijia1989
- 粉丝: 1
- 资源: 6
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功