Google Dremel及Raft对比Paoxs.doc
需积分: 12 59 浏览量
2022-01-04
11:59:31
上传
评论
收藏 173KB DOC 举报
Google Dremel 及 Raft 对比 Paoxs
一、起源
Dremel 的数据模型起源于分布式系统的应用环境(Protocol Buers，一
种在 Google 内广泛使用，现已开源的实现)。其数据模型是基于强类型的嵌套
记录，抽象语法可以表示成下面公式：
Dremel 是一种分析数据的方法，它运行在上千台服务器上，能够让你对
海量数据执行“查询”操作，例如网页文档集、或者数字图书馆甚至是百万规模
的垃圾信息等。
二、特点
Dremel 系统的主要特点：
●Dremel 是一个大规模系统
●Dremel 是 MR 交互式查询能力不足的补充
●Dremel 的数据模型是嵌套(nested)的
●Dremel 中的数据是用列式存储的
●Dremel 结合了 Web 搜索 和并行 DBMS 的技术
三、应用
Dremel 是一种分析数据的方法, 它运行在上千台服务器上, 能够让你对海
量数据执行“查询”操作, 例如网页文档集、或者数字图书馆甚至是百万规模的垃
圾信息等。这有点类似于在过去传统的数据库上执行 SQL 操作, 过去几十年来,
SQL (结构化查询语言) 在软件领域得到了广泛的应用。比如说你收集了大量的
数字图书, 那么你可以自己建立一个能够列出所有作者的名单或者涉及某个特
定领域的作者列表的特殊查询。
3.1 查询方式
Dremel 可以使用一种 SQL-like 的语法查询嵌套数据。由于 Dremel 的数
据是只读的，并且会密集的发起多次类似的请求。
举个例子：对于请求
SELECT
A, COUNT(B) FROM
T GROUP
BY A
根节点收到请求，会根据数据的分区请求，将请求变成可以拆分的样子。
原来的请求会变为：
SELECT
A, SUM(c) FROM
(R1 UNION
ALL ... Rn) GROUP
BY A
评论0