论文研究-向量计算Array OLAP查询处理技术.pdf

所需积分/C币:9 2019-09-07 23:00:12 758KB .PDF
收藏 收藏
举报

多核和众核处理器成为新的具有强大并行处理能力的大内存计算平台的主流配置。多核处理器遵循以LLC(Last Level Cache,最后一级cache)大小为中心的优化技术,而众核处理器,如Phi、GPU协处理器,则采用较小的cache并以更多的硬件级线程来掩盖内存访问延迟的设计。随着处理核心数量的增长,计算框架更倾向于面向大规模处理核心的、代码执行效率高并且扩展性强的设计思想。提出了一种基于数组存储和向量处理的内存分析处理框架Array OLAP,简化OLAP的存储模型和查询处理模型。在Array OLAP计算框架中,维表规范化为基于向量的维过滤器,事实表规范化为带有多维索引的度量属性。通过多
26 015,51(18 Computer Engineering and Applications计算机工程与应用 其语义为从多笙数据空间(CUBE)中按查询给定的维时查询编译技术性能的差异,并给出了一种向量处理与 度或层次对多维数据空间中的数据进行聚集计算,并输实时编译相结合的技术方案 出杏询指定空间立方体( CUBOID)的聚集结果。最直接 当前代表性的内存分析型数据库主要采用向量处 的OLA实现技术是 MOLAP( Multidimensional olap,理技术,在成熟的迭代处理模型基础上扩展了向量化的 多维OLAP),即将多维数据存储为多錐数组,多维查询杏询优化技术实现高性能查询处理。 转换为基于多维数组下标的直接地址访问。 MOLAP需23连接优化技术 要通过预计算生成数据立方体,查询响应速度快,但存 连接是关系数据库屮最核心的操作,也决定了內存 储代价大,维数有限,维更新代价高。 ROLAP( Relational数据库的杳询处理性能。数据仓库是一种多维数据结 OLAP,关系OLAP是将多维数据转换为关系表存储在构,多维查询性能最关键的决定因素是庞大的事实表与 数据库中,通过数据库的实体化视图、位图索引、查询优众多维表之间的星形连接操作的性能。内存数据库通 化等机制提高OLAP查询处理性能。 ROLAP存储效常不使用索引机制,连接操作的性能是OLAP查询性能 率高,但查询响应时间高于 MOLAP。 HOLAP( Hybrid的决定性因素。近来, cache-conscious的内存哈希连 OLAP,混合OLAP)结合了 MOLAP和 ROLAP的优点,接优化技术受到了广泛的关注,文献[12-14深入地研究 通常将细节数据存储于 ROLAP中以提高大数据存储效了 cache-conscious radix-hash join( cache敏感的radⅸx哈 率,将高层聚集结果存储于 MOALP中以提高OLAP查希连接)算法在现代处理器架构上的优化技术,并通过 询响应性能。 充分的实验验证了基于radⅸx分区技术的哈希连接与其 除传统的 Cognos Powerplay、 Hyperion ESSbase、他连接算法相比其有最优的性能,但 radix hash join算 Microsoft ssas、 SAS/MDDB、 Oracle Express等 MOLAP法性能上的优势取决于现代处理器的 cache结构和 radix 系统之外,科学领域的数据库ScDB同样采用基于数 partition( radix分区)的时间与空间代价。随着具有强大 组的多维数据管理技术,ScQL提出了在列存储内存并行处理能力的协处理器逐渐成为新兴的高性能计算 数据库 MonetDB上实现的完整的数组操作。 平台的主要计算设各,硬件计算特征逐渐转变为众核高 近年来随着内存数据库成为高性能数据库的主流并行计算(many- core massive parallel computing), cache 技术, real-time OLAp城为OLAP的新特征,即借助于容量变小、硬件级线程数量増加等特性。 强大的内存数据库引擎,消除传统的实体化视图、素引 近年来,基于众核协处理器(GPU、Phi)的数据库查 聚集表等存储空间代价大的优化技术,通过实时查询处询优化技术成为新的研究热点,但协处埋器与CPU不 理满足OLAP需求 同的硬件架构、计算模式和存储特点需要进一步将CPU 22系统架构 平台上优化的查询处理算法在协处理器平台上按硬件 传统旳数据库采用行存储ν olcano迭代处理馍型,特征进行“调优"。文献「3l分別对GPU上的关系操作符 采用一次一记录( tuple-at- d-time)的解释执行方式。数文现技术进行优化,通过设计一系列GPU操作原语实 据仓库应用中,OLAP査询通常是针对较少度量属性的现关系操作。文献[4验证了数据仓库负载与GPU性能 聚集计算,因此行冇储时数据访问效率较低。另一方之间的不匹配,GPU强大的傅件计算性能受较低的PCle 面,迭代处理模型有较高的函数调用和操作符解析代通道性能影响而难以在数据密集型的负载中有效地发 价,代码的¢PU执行效率较低。 MonetdB采用一次一挥。文献[6J基于融合架构APU研究了在消除PCIe传 列( column-at-a-timc)的处理技术,在低选择率时具有良输代价后CPU-GPU协同处理的优化技术,通过细粒度 好的性能,但选择率较高时需要物化较大的中间结果,的协处理计算更好地发挥了APU中GPU的计算性能, 増加了存储及计算代价。 Vcctorwisc采用一次一向量实现整体性能的显著提升。文献「15在最新的Ph处理 ( vector-ata-time)的查询处理技术,以 LI Cache敏感的器上实现的两种并行哈希连接算法(NPO和PRO),实 较小向量(通常为1024)为处理单位,实现L1 Cache内验结果表明CPU与Phi协处理器对 hardware oblivious 的物化数据存储访问,消除了内存物化数据存储和访问的NPO算法和 hardware conscious的PRO算法的适应 代价。文献[10提出了一种 data centric的查询处理技性不同,PRO算法在CPU平台上全面优于NPO,但在 术,它将传统查询处理的pul拉模式改为push推模式,Phi平台上NPO算法的性能优于PRO。但相对于成熟 查询处理时将数据推送给各个操作符,并使数据尽可能的CPU平台上的数据库技术,基于GPU和Ph协处理器 长时间地存储在寄存器中,同时査询通过LLVM编译框的数据库技术仍然处于理论研究阶段,直接从内存数据 架实时地编译为高效执行的机器代码,从而提高査询处库中移植和“调优¨的算法难以与协处理器独特的硬件 理性能。文献[l进一步分析了实时编译査询优化技术特性相结合。 与向量查询处理技术,通过在选择、投影、连接等核心关 总体来看,OLAP查询优化技术包含多个层次:在 系操作符的实现技术屮面向行、列存储模型、分攴预測计算模型层, MOLAP遵循多维计算模型而 ROLAP遵循 优化、SIMD向量处理等方面对比,分析了向量处理和实关系操作模型;在 ROLAP查询处理模型层,简化OLAP 张宇,张延松,陈红,等:向量计算 Array OLAP查询处理技术 2015,51(18 27 算法,实现基于实时编译技术的push处理模式是一个代备内存之间的圆柱代表了带宽性能,异构平台上:形成多 表性的技术趋势;在连接操作符优化技术层,面向CPU个局部性数据访问与计算中心,存储密集型设备与计算 多级 cache架构的优化技术和面向协处理器众核并行计密集型设备需要数据库将其负载对应地划分为数据密 算架构的优化技术的算法选择有所不同,在降低 cache集型负载与计算密集型负载,从而使负载的特征与设备 集成度、增加ALU集成度的协处理器硬件架构下,内存的特征相一致,最小化数据在带宽性能较差的PCIe与 访问延迟的优化从以 cache为中心向以多线程访间模式QPl通道上的传输代价,提高计算时的数据局部性 转变, hardware oblivious(硬件无关)的NPO(不分区哈 异构内存计算平台对应的是一种服务器内部的分 希连接)算法具有更好的适应性。因此,OLAP查询优布式计算模型,对应不对称的存储与计算性能,需要优 化技术随着内存计算硬件平台的变化而升级。 化数据负载的存储与计算局部性 32 Array OLAP计算模型 3 Array OLAP讣算框架 与异构计算平台结构相对应, Array OLAP计算模 31异构内存计算架构 型将传统的OLAP查询处理流程划分为三个独立的数 随着硬件技术的发展, GPGPU(通用GPU)、Ph协据集和数据集上独立的处理阶段( processing stage),在 处理器还渐戍为新兴的高性能计算平台,与传统的CPU每个处理阶段中执行的是基于简单的数组、向量、位图 共同完成数据管理与处理任务:更加廉价的持久性存储等数据结构上的计算,输出为向量或位图,不同的处理 PCM PCIe Flash等与传统的DRAM构成了混合内存结阶段之间通过上一个处理阶段“推送”的向量驱动当前 构。如图1所示,异构的存储与计算设备通过PCle、QP1处理阶段的执行 ( Quick Path Interconnect,快速通道互联)通道互联,设 从多维数据集的角度来看,数据仓库的数据模型由 DRAM CPU 维度、事实数据的多维坐标、事实数据度量属性组成 个OIAP查询从语义上可以表示为三个过程:维投影 将奁询映射到多维坐标轴;多维过滤,通过多维坐标轴 奅选事实数据的多维坐标;聚集计算,对满足查询条件 Intel ph Flash 的事实数据进行聚集计算。如图2所小,在事实表与 DRAM I-E Controller Card 个维表连接的OLAP查询的执行过程中,OLAP查询中 PCI-E 维表上的谓词短语和分组短语在维表上构建了一个维 GPGPU CoProcessors 过滤向量,按维表谓词条件投影出分组属性组,并为投 GDDR 影出的分组属性组创建字典表,各个维表的分组属性组 向量G-Dim构成了一个虚拟的多维聚集数据立方体 图1异构内存计算平台 Virtua! Aggregate CUBE,维过滤向量VDim构成一个 Dimension Tablev-D)im Measure CUBE 日 V-Di - Di Aggregate CUBE Dimension Iable V-Dim G-Di CUBE Hash Table Query results 图2 AP计算模型 28 015,51(18 Computer Engineering and4 pplications计算机工程与应用 OLAP杏询对应的虚拟数据立方体 tual cube;事实多维坐标。当维过滤的选择率较低时,度量索引中存在 表外键代表着事实数据在多维立方休屮的坐标,通过大量空值,可以通过压缩技术将稀疏的度量索引分解为 坐标映射到Ⅴ /irtual cube的维过滤向量上完成事实数两个紧凑的向量,一个记录非空值的向量下标,另一个 据的多维过滤操作,并将满足多维过滤条件的事实记向量记录相应的向量单元值 录对应的虚拟多维聚集数据立方体( /irtual Aggregate 向量索引访问( Vector Index Lookup)和向量聚集 CUBF)的多维坐标(一维形式)记录在度量索引( Measure计算( Vector Aggregation): Index)中;最后,通过度量索引按位置访问事实数据的 4g8Mm.b(,M2,…)→Agg_ Vectors 度量属性,按度量索引中记录的多维聚集数据立方体的 度量索引记录了满足OLAP查询条件的事实记录 多维坐标进行多维数组或哈希分组聚集计算 的位置及其后分组聚集计算单元的空问位置,当分组聚 进一步地,将 Array OLAP计算模型抽象为一系列集CLBE较小时可以直接使川多维数组按度量索引中 向量代数 的多维坐标直接聚集计算,当分组聚集CUBE较大且稀 向量投影( Vector Projection) 疏时,可以使用哈希表对分组聚集坐标进行哈希分组。 P1 PA2 GA1,GA2,…) 33 Array OLAP查询处理小例 ∥Di,GDim) Bitmap Array OLAP模型的基础是事实表与维过滤向量 PA为谓词表达式,GA为分组属性。向量搜影操作是将的地址映射关系。数据仓厍的维表通常采用代理键 SQL命令分解为各个维表上的选择与分组子查询,然后 (surrogate key)作为主键,代理键顺序递增的结构可以 投影出满足维表过滤条件的分组向量GDm,并根据分直接映射到维轴坐标上。在TPCH、SSB、 TPC-DS三 组向量坐标创建与维表等长的维过滤向量FDm。维个代表性的 Benchmark中,只有SsB的维表dale使用 过滤向量FDim中“-1”代表对应的维记录不满足维表 19920101,19920102,…形式的递增主键(可以通过日期 谓词条件,非负值表示当前维记录分组属性在分组向量差值映射为代理键),其他全部维表都使用代理钍,支持 G-Dim中的下标值。当维表上只有过滤条件没有分组了 Array OLAP计算模型。 属性时,维过滤向量简化为维过滤位图,“1”表示对应的 数据仓库的历史数据存储采用 insert-onl更新模 维记录满足谓词条件,“0”表示不满足。 式,事实表与维表的主-外键参照完整性约束决定了维 多维向量过滤 Multidimensional vector Filtering):表记录不会轻易删除,而维表记录属性值的修改与维表 9Dm1yDmn2.,(FK1,K2,…)→ Measure Index 记录的增加不影响地址映射关系。 事实表外键列映射到对应的维过滤向量偏移地址, 图3给出了 Array OLaP在星形模型数据仓库基准 满足过滤条件的外键获得其在当前维上多维聚集数据SsB( Star Schema Benchmark)中的一个OLAP查询案例。 立方体Ⅴ irtual Aggregate CUBE的坐标分量,完成全部 与图2的逻辑模型相对应,OⅠAP查询在笙表Cus 维过滤操作后,度量索引 Measure index中记录的是满 tomer和 Supplier上有选择和分组属性,OLAP登询在维 足OLAP查询条件的事实记录在多维聚集立方体中的表 Customer和 Supplier上按谓词条件将分组属性投影为 SPILS: MMEIH NIUE可iAA ERae HiC uian. 3 alias A叫马当是 A四pln AMITH merwinite C 吧回回图型 回出 E A知A 由m AMH聚CAa MSi 内a uk LETeTTTET 244 LiinnMrtr A人、3 M 叫 h51 am四kam hu重 1 cirtiHnit osh linde s thi th lse面 CK面的欧咖国d研性矿佳国匣产 归印B由加山d以en时回 叫址加dmm即 tm ect the ful addrrmce-ce alitrunk a 图3 Array OLAp查询执行示例 张宇,张延松,陈红,等:向量计算 Array OLAP查询处理技术 2015,51(18 29 维过滤向量 Group vector,然后对 Group vector进行铲具有较好的内存访问性能;lash位于第三层,存储访问 典压缩,产生分组字典表 Groups dictionary和 Dimension性能较内存有较大差距,为CPU提供一级内存大数据 Filter,分别对应图2中的G-Dm和VDi。维过滤向量访问能力。 Dimension filter中-1表示当前维记录不满足过滤条 在 Array OLAp的三个处理阶段中,第一阶段需要 件,非负值表示当前维记录在分组向量G-Din中的I 支持SQL处理能力,适合CPU内存处理平台, AIR OLAP 然后事实表外键(1CK为维表 Customer在事实表中对的第一个处理阶分配给CPU内存平台,在较小但更 应的外键列,SK为维表 Supplier在事实表中对应的外新频繁的维表上创建维过滤向量;第二阶段为计算密集 键列,其值对应维表中相应记录的数组下标)值映射为型负载,数据集大小固定,计算简单但计算代价大,适合 VD淝m上的下标,依次在维过滤向量上进行过滤。度量协处理器计算平台,铰小的维过滤向量通过PCle通道 索引在实现中采用压缩存储结构,图2中 Measure index传输给协处理器,在固定大小的事实表外键上完成多 分解为图3中事实表选择向量 selection vector和 address维过滤操作,生成度量索引;第三阶段为数据密集型负 Map,分别记录满足维表过滤条件的事实表记录数组下载,计算筍单但面向较大的数据集,适合内存及1sh大 标和事实表记录对应多维聚集立方体数组下标。事实容量存储平台,度量索引通过PCle通道传输回内存,由 表外键依次与查询相关的维过滤向量进行多维过滤操CPU实现基于向量访问的聚集计算任务。三个计算阶 作,在 Address Map中增量地计算对应的二维聚集分组段通过pCI传输较小的中间数据,实现计算密集型负 坐标 selection vector和 Address Map为压缩结构的度载和数据密集型负载在设备内( device memory)和 量索引向量)。最后,通过 selection vector和 Address主存( maIn memory)中的内存计算( memory resident Map按位置访间度量属性列,将聚集表达式结果映射到 computing),通过 ArraY Olap计算模型的三阶段执行 二维聚集分组中进行聚集计算 查询优化技术实现最小化传输数据集大小 3.4 Array OLAP异构计算模型 Array OLAP的向量计算模型将OLAP分解为三个4实验与分析 计算阶段:维向量投影阶段的输入是SQL命令,数据集 在实验中,首先测试了 Array OLAP中基于数组地 是具有实时更新需求的较小的维表,输出是较小的维过址访问的AR算法与传统的哈希连接算法之间的性能 滤向量;多维过滤阶段的输入是较小的维过滤向量数差异,测试在OIAP查询处理中执行代价最大的连接操 据集是事实表外键列,输出是度量索引向量;聚集计算作中的性能提升空问;然后对比了基于AR算法的Aray 阶段的输入是度量索引,数据集是较大的事实数据度量OLAP在星形模型数据集SSB上的查淘处理性能,并与 表,输出是较小的分组聚集结果集。 代表性的内存列存储数据库 Monetdb vectorwise对比, 如图4所示,在异构计算平台上需要将数据仓库负分析 Array Olap面向完整OLAP负载时的性能;进 载在不同的计算( CoProcessor-CPU)与存储层( Device步地,分析了 Array OLaP查询处理中三个处理阶段执 memory-DRAM/PCM-flash)之间进行优化分布。在图4行时间占比,分析计算密集型负载和数据密集型负载的 所示的异构计算模型示意图中,协处理器位于金字塔的数据量和计算代价分布特征;最后,实现∫在 CPU-GPU 最顶层,直接访问设备内存,具有最佳的存储访问与计 异构计算平台上的 Array OLAP,通过性能测试分析了 算性能;CPU位于第二层,直接访问内存或未来的PCM,在异构内存计算平合上通过高性能的协处理器加速所 实验硬件平台为一台HPZ820T作站,配置有两块 260 GHz Intel Xeon e5-26708核处理器和256GB DDR3内存,操作系统为 SUSE Linux version3.0.13027 default 41 Array Olap连接优化 Array OLAP采用 MOLAP多维计算模型,事实表与 维表之间的连接操作简化为数组地址引用( Array Index Referencing,AIR),在文献[13]提供的源码上:实现AIR 连接算法,并与优化的哈希连接算法NPO(无分区哈希 连接)和PRO(radiⅸx分区哈希连接)进行性能对比测试。 表1显示了在SSR以及文献[13所使用的测试集上 NPO、PRO哈希连接算法与AIR算法在每记录时钟周期 数( cycle/uple)指标上的性能,基于数组地址直接访问 图4 ArraY OLAp异构计算模型 的AR算法性能为NPO和PRO的十倍到几十倍。在同 30 015,51(18 Computer Engineering and Applications计算机工程与应用 样数据量情况下,AIR算法基于数组列计算,其存储效 w Array OLAp 率高于哈希表。PRO哈希连接算法需要通过 radix分区 s Array 提高哈希表的 cache局部性,需要额外的内存空间开销 E 500- Array OL.AI 和数据分区代价,而AIR算法相对PRO算法节省了在 回400 radix-partition过程中的有储空间消耗,内存数组地址访 200 问相对于哈希探测操作也节省了大量 CPU cycles 100 表1 ArraY OLap与哈希连接 操作性能对比 cycle tup NPO PRO AIR 图6^ rray OLAP三个计算阶段执行代价分解 18.3210.230.54 600000000:2555 4.3 Array ol,AP异构计算性能测试 li 在 Array OLAP的三个处理阶段中,多维过滤计算 4.2810.151.01 SSB 601)00000:152877l 的输入是较小的维向量,输出是固定大小的度量索引 (SF=100) lineorderxsupplier 24.27 〔采用压缩冇储时随选择率的降低而减小),计算代价较 600000000:200000 高但只涉及数组、向量、位图上的地址访问计算,是一种 6000000093000062.2710.301.10 适合并行处理的计算过程。因此多维过滤计算可以分 配给高并行处理能力的协处理器以提高计算性能。 workload a 61.9935.721.55 文献[1测试268435456:1677716 在一台 HP workstation Xw8600验证 Array OLAP 数据集 Workload B 异构计算的性能。服务器配置有 Intel Xeon0X5260 63.6434.961.35 128000000:128000000 33GI的双核处理器,16GB内存,并且配置了一块 NVidia GeForce GTX580显卡,显存量1.5GB 4.2 Array OLAP SsB测试 PCle接口带宽约6GB/s,核心频率为772MHz,流处理 进一步地,在SSB测试集(SF-100)上进行标准的13 器数量为512个。从硬件配置来看,GPU的计算能力超 个OLAP查询性能测试,并与开源内存数据库 MonetdB 过CPU。 和 Vectorwise测试版进行性能对比测试。 在图5所示的性能对比图中, MonetDB在低选择率 选择SSB测试集(SF-16,根据GPU显卡支持最大 的查询中性能较奷,lⅤ ectorwise综合性能较好,Aray 事实表外键列确定测试数据集大小)、将多维过滤计算 对应的事实表四个外键列驻留存储于GPU显存,四个 OLAP的向量过滤和向量聚集计算有效提高了OLAP查 询处理时的CPU执行效率,基数组地址访问的星形事实表外键加一个度量索引向量列所占的GPU显存 连接操作和基于多维数组的分组聚集操作具有非常高容量为134GB,GPU显存的利用率为87.5%。较小的 的代码执行效率,并且算法设计非常适合多维查询和有维表向量在查询执行时动态地从内存通过PCe通道传 限结果集的SSB数据集,从而发挥出较好的查洵处理输到GPU显存,然后在GPU上完成多维过滤计算,生成 性能 度量索引,然后将度量索引通过PCIe通道传输冋CPU 内存完成其后的分组聚集计算。不同的OLAP查询对 7000 a MonetDB 应相同大小的维向量和度量索引向量,只是向量内的数 6000 据由OLAP杳询动态更新,多维计算输入和输出阶段传 5000 a Array OI.Al 4000 输的数据量是恒定的,传输延迟相同 1F3000 GPU的多线程并行计算能力强大(SIMT,单指令多 2000 线程),但在分攴处理和动态数据管理效率方面显著低 l000 于CPU,通过实验测试,使用与事实表等长的度量索引 ①、2个?、 向量计算性能最佳。表2给出了SSB13个测试查询的 多维过滤计算在GPU和CPU的执行时间,其中GPU上 图5 Array OLap在SSB上的性能测试 的多维过滤时间与维数量呈线性关系,在SF=16的9600 图6显示了OLAP询时 Array OLAP三个计算阶万行记录的多维过滤计算时最大执行时间仅为16.5ms, 段的执行时间,其中多维过滤是计算密集型负载,其平而相应的CPU多核并行计算时间达到369ms,二者相差 均执行时间占比达到864%。 22倍。度量索引向量通过PCle传回CPU的时间长于多 多维过滤操作使用AR算法在多个维过滤向量上维过滤计算的时间,实验平台的PCle带宽为5.04GBs, 执行基于数组地址直接访问的多维过滤操作,算法简但当前最新的PCle3.0单向带宽达到16GB/s,度量索 单,计算代价大,是OLAP性能的决定因素。 引向量估算的传输时间可以降低至16ms。从多维过滤 张宇,张延松,陈红,等:向量计算 Array OLAP查询处理技术 2015,51(18 31 计算的平均执行时间来看,CPU执行时间分别是GPU 随着大容量、高性能的 PCle flash逐渐成熟,基于 和GPU估算执行时间的6倍和14倍。多维过滤计算在DRAM-fash二级內存的OLAP计算也将成为新的模式 SSB平均计算时间中占比达到864%,当多维计算负载将在未来的工作中将 ArraY Olap的阶段式计算模型 分配给GPU执行时,査询整体执行性能能够提升3~5倍。扩展到 PCle flash存储中,提高内存计算的性价比。 表2基于GPU和CPU的多维过滤计算 ms GPU GPU(估算 参考文献 CPU 多缑PCle2 PCle30 多维 度量索总时间多维 [1 Gartner identifies the top 10 strategic technology trends 度量索总时间 过滤 过派 for2013[eb/ol][2015-05-10].httP://www.gartner.com/news 引传输 引传输 过滤 room/id/2209615 Q1.13.8351.4755303.8316.1920.02126 [2 Savitz E IT revolution: how in memory computing changes Q1.23.9950.9754.96 cverything[eb/ol]-[2015-05-10].htTp://www.forbescom/sitcs! 3.8316.1319.96 173 ciacentral/201 3/03/ 08/it-revolution-how-in-mcmory-com Q2.18.1751.2359408.1716.122429256 puting-changcs-cvcryt Q2.28.0751.4459.518.0716.1824.25 263 Q2.38.0750.9459.018.0716.0324.10293 [3 Hle bingsheng, Lu Mian, Yang Ke, et al. Sander: relational 386 on graphics processors.ACM T Q3.212.0550.7362.7812.0515962801 360 on Database Syst, 2009, 34(4) Q3.3 12.04 50.87 6291 12.04 16.01 2805 384 [4] Yuan Yuan, Lee Rubao, Zhang Xiaodong. The Yin and 9|50.8562.76 16.002791 475 Yang of processing data warehousing queries on GPU Q4.116.1850.8667.0416.1816.0032.18579 devices[j] PVLDB,2013,6(10):817-828 Q4.2 16.49 50.84 67.33 16.49 16.00 32.49 509 [5] Pirk H, Manegold S, Kersten M Accelerating foreign-key Q4.316.551.0667.5616.5 16.0632.56 600 joins using asymmetric memory channels[c]iADMS, 2011 平均 时间10.2951.04613310.29160626.34351.38 [6 He Jiong, Lu Mian, He Bingsheng Revisiting co-processing for hash joins on the coupled CPU-GPU architecture[J] 综上所述, Array OLAP是一种基于多维计算的 PⅤIDB,2013,6(10):89-900 OIAP技术,通过AR访问替换∫传统的连接操作,并[7] Stonchrakcr m, Brown p, Zhang Donghui, ct alscilB:a 显著提升了连接操作的性能, Array OLAP的向量计算 database management system for applications with com 模型的阶段处理特征使其数据独立、计算独立,能够更 plexanalytics[j].computinginScienceandEngineering 好地适应异构内存计算平台的特征。 Array OLAP基于 2013,15(3):54-62 数组、向量、位图等简单数据结构的计算模型侦其更好812 lang Ying, Kersten M L, Manegold S. SciQL: array data 地适应协处理器计算特征,能够适应未米以协处理器为 processing inside an RDBMSICI/SIGMOD Conference 2013:1049-1052 特征的高性能内存计算平台。 [9 Boncz P A, Zukowski M, Nes N MonetDB/X100: hyper pipelining query execution[C]/Proc CIDR, 2005 5结束语 [10] Funke F, Kemper A, Neumann T Compacting transac 内存计算成为real- time olap的新平台,传统的数 tional data in hybrid OLtP & OLAP databases[J] 据库査询处理技术并不能很好地适应新型存储与计算 PVLDB,2012,5(11):14241435 设备所构成的异构存储与计算平台,需要一种能够更好[1 Sompolski j, Zukowski m, Boncz p a. Vectorization vs. 地与硬件设备相适应的计算模型。 compilation in query execution[C]//DaMoN, 2011: 33-40 Array Olap是一种以数组、向量、位图为基础的12 I Blanas s, Li Yinan, Patel J M Design and evaluation of OLAP查询处理模型,采用 MOLAP的多维计算和RO main memory hash join algorithms for multi-core CPUs[C]/ LAP的表存储,将传统 ROLAP中性能较差的连接操作 SIGMOD Conference, 2011: 37-48 转换为效率较高的多维计算,提高OLAP查询处理性13] Balkesen c, Teubner J, Alonso c,etal. Main-memory 能。 Array OLAP通过向量代数将OLAP处理流程分解 hash joins on multi-core CPUS: tuning to the underly ing hardware[C/ICDE, 2013: 362-373 为松耦合的三个向量计算阶段,从而分离出数据密集型11 Balkesen C, Alonso g, Teubner J,etal. Multi-core,mai 与计算密集型负载,从而支持将负载与异构存储、计算 memory joins: sort vs hash revisited[J. PVLDB, 2013,7 平台的绑定与协同处理能力。同时,基于简单数.结构 (1):85-96 的数组计算模型能够更好地适应GPU、Ph等计算能力5]haS, He bingsheng, Lu Mian,etal. Improving main 强大但复杂数据管理能力弱的协处理器,从而更好地发 memory hash joins on Intel Xeon Phi processors: an 挥出协处理器的计算性能 experimental approach[J].PVL. DB, 2015, 8(6): 642-653

...展开详情
试读 8P 论文研究-向量计算Array OLAP查询处理技术.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
    抢沙发
    一个资源只可评论一次,评论内容不能少于5个字
    img
    • 至尊王者

      成功上传501个资源即可获取

    关注 私信 TA的资源

    上传资源赚积分,得勋章
    最新推荐
    论文研究-向量计算Array OLAP查询处理技术.pdf 9积分/C币 立即下载
    1/8
    论文研究-向量计算Array OLAP查询处理技术.pdf第1页
    论文研究-向量计算Array OLAP查询处理技术.pdf第2页
    论文研究-向量计算Array OLAP查询处理技术.pdf第3页

    试读已结束,剩余5页未读...

    9积分/C币 立即下载 >