论文研究-Hadoop环境中基于属性和定长密文的访问控制方法.pdf

所需积分/C币:10 2019-09-13 13:06:48 630KB .PDF
6
收藏 收藏
举报

随着云计算技术的广泛应用,人们越来越关注安全和隐私问题。由于云端是第三方服务器,并非完全可信,数据属主需要将数据加密后再托管云存储。如何实现对加密数据的高效访问控制是云计算技术亟需解决的问题。结合Hadoop云平台、基于属性与固定密文长度的加密方案提出并实现了一种在Hadoop云环境下基于属性和固定密文长度的层次化访问控制模型。该模型不仅具有固定密文长度、层次化授权结构、减少双线性对计算量的特点;同时经过实验验证,该模型能够实现云计算环境下对加密数据的高效访问控制,并解决了云存储空间有限的问题。
张欣晨,杨庚: Hadoop环境中基于属性和定长密文的访间控制方法 2015,51(23) 长的文将严重限制此类方案在实际中的应用 Rack之间进行数据复制导致的性能问题(2)心跳检 本文提岀并实现了一种在 adop环境下基于属测:用心跳检测机制监控υ ataNode节点的健康情况,如 性和固定密文长度的层次化访问控制模型。首先采用果发现失效节点则采川数据备份的方式来保证安全 了密文长度定的 CP-ABE算法,将密文大小与加解密性。(3)数据的负载平衡:若出现 DataNode节点失效的 时间均限制在固定值。其次,提出并实现了一种基于情况,IDFS会执行 balance操作,首先统计所有 Datanode Hadoop分布式基础框架的层次化授权与访问控制模节点磁盘利用率的平均值,然后将磁盘利用率超过平均 型,支持继承性授权,减少了单个属性权威的负担与风值的 DataNode节点上的 Block迁移到磁盘利用率较低 险。本文方案在保证细粒度和灵活的访问结构的同时,的 Datanode节点上,从而达到平衡存储利用率和数据 减轻了数据属主和普通用户在加解密过程中过重的数交互压力的目的(4)数据校验:采用CRC32做数据校 据传输与计算开销,并解决了云存储空间有限的问题。验。HDFS在写入和读出Bock时都会使用数据校验。 (5) Block的管道性写入:用户将文件上传到HDFS上 3背景知识 时,HDFS首先会读取一个 Block,将其写到第一个 本章首先概述HDFS的休系结构数据管理及安全 Datanode节点上,然后由第一个 DataNode节点将其传 策略, Mapr educo的编程模型和数据处理流程,然后简递到备份的 Datanode节点,直到所有需要此 Block的 要介绍了所采用的密文长度固定的 CP-ABE算法。 Data node节点都成功写入后,才会开始写下一个 31HDFS体系结构 Block(6)安全模式:HDFS启动后会进入17s的安全模 HDFS集群采用主从( Master/Save)结构模型,由 式,运行期问也可以通过命令进入安个模式。当HDHS 个 Namenode节点和若下个 DataNode节点组成。其中处于安全模式时,文件系统中的内容是不允许修改也不 允许删除的,卣到安全模式结束安全模式主要是为了 Naenode节点作为主服务器,管理文件系统的命名空 在IDFS启动时检查各个 DataNode节点上数据块的有 间和用户对文件的访问操作; Datanodc节点管理集群 效性,同时根据策略进行必要的复制或者删除部分数 中存储的数据。HDFS允许用户以文件的形式存储数 据。从内部来看,文件被分成若千数据块并放在一组据块。 33HDFS的安全策略 DataNode节点上, NameNode节点则负责数据块到具体 DataNodc节点的映射。 Datanode节点在 NamcNodc节 用户和HDFS之间的交互主要分两种情况:和 Namcnodo节点的RPC交互荻取待通信的 Datanodc节 点的统一调度下负责处埋用户的文件读写请求包括数点的位置,和 DataN od节点交互传偷数据块 据块的创建、刑除和复制工作。图1为HDFS的体系结构。 RPC交互的认证采用 Kerberos或授权令牌。在与 Name Node NameNode节点的认证连接过程中,用户需要使用Ker- heros证书来获取授权令牌。授权令牌实际上是用户与 用户 数据请求 块信息 NamcNodc节点之间的共享密钥。 数据块传输的认证采用块访问令牌。每一个块访 Data node 问令牌采用对称加密方式,由 NameNode节点生成并传 备份· Data node Datanode 输给 DataNode节点。块访问令牌代表数据访问容量, Datanodek 机架 个块访问令牌保证用户可以访问指定的数据块 机架 Write/ 3.4 Mapreduce编程模型与数据处理流程 Mapreduce采用“分而治之”的思想,把对大规模数 用户 图1IDFS体系结构 据集的操作分发给集群中的 Datanode节点共同完成 然后通过整合各 Datanode节点的中间结果,得到最终 32HDFS的数据管理 的结果。简单地说, Mapreduce就是“任务的分解与结 HDFS作为分布式文件系统,除了具有其他分布式果的汇总” 文件系统的特性以外,还具有以下几个功能:(1)文件块 图2给出了使用 Map reduce处理大数据集的过 ( Block)的放置:个Bock对应三份备份,一份放在程。从图中可以看出,核心部分是Map和 Reduce函数, NamcNodc节点指定的 Datanode节点上,另一份放在与Map负责把任务分解成多个子任务, Reduce负责把子任 指定的 Datanode节点不在同一个机器上的 Datanode节务处理的结果汇总起来。整个数据处理流程使用Kcy 点上,最后一份放在与指定的 DataNode节点同一机架 Value键值对,用户通过自定义的Map函数接受输入的 (Rack)的 DataNode节点上。备份的主要目的是为了数Key/ Value键值对集合,产生中间的 Key/value键值对集 据安全,同时考虑到同一Rack失败的情况,以及不同合, Mapreduce中的shut过程把所有具有相同Key值 90 015,51(23 Computer Engineering and Applications计算机工程与应用 输入数据 Mappers 中间数据 Reducers输出数据 输出 Key/ Value键值对 Splite rEduce(h parto HDFS副本 Split M uc己 Split HDFS副本 翻M 图2 Mapreduce处理大数据集的过程 vc ave 文件访问结构 城权威 /数据属主 认证并授权 认证并授权 Master Slave Slave Slay 根权威 域权威 云服务商 Slave Slave Slave 用户属性集 普通用户e 域权威 图3系统模型 的 Value集合在一起,传递给 Reduce函数, Reduce函数制用户的访问与解密能力,实现资源的安全共享。 处理后得到最终的输岀结果。至于在并行编程屮会遇4.1方案模型 到的诸如分布式存储、工作调度、负载均衡、容错处理、 方案模型从两个方面描述系统的整体结构:系统模 网络通信等复杂问题,均由 Mapreduce框架负责处理。型介绍了各个实体的主要功能,并结合图例给出层次化 3.5密文长度固定的CP-ABE算法 架构。安全模型给出了基本的安全假设 本节仅简要描述所采用的密文长度同定的 CP-ABE 系统模型以 Hadoop云平台为基础,如图3所示。 算法,详见文献[15]。密文长度固定的CP-ABE算法包系统主要由五类实体组成:根权威、域权威、数据属主 活五个多项式时间算法: Setup、 CreateD. Delegate、普通用户和云服务商。根权威具有最高权限,负责生成 Encrypt、冂eεrypτ,分别实现系统建立、为域权威授权、为系统参数,认证域权威并为其授权。域权威管理域内的 用户授权、创建新文件和访问文件。具体描述如下 数据属主,并为普通用户授权。这种继承性的分层属性 Sep(λ,U):输入安全参数λ和系统内所有实属权威结构分散了计算量,同时结合 Hadoop自身 Master 性的集合U,生成系统公钥PK和主密钥MK。 节点和 Slave节点之间的访问认证机制,减轻了中心属 CreateD(MK,PK,A):输入系统公钥PK、主密钥权威的负担和风险,数据属主通过层次化授权结构 MK和域权威DA的属性集A,输出DA的私钥SK。获取密钥等相关参数,加密待共亨的文件然后将密文 Delegate(SK,A:输入域权威的私钥SK。和用上传至云服务商。由于密文中包含了文件的访问结构 户的属性集A,输出用户的私钥 SKnA/SK 所以只有拥有相应属性的用户才能解密文件(认为云服 Encrypt(PK,M,71s):输入公钥PK,明文M和访务同也是普通用户之),而术授权用户均不能访问原 文件,由此实现基于属性的访问控制。普通川户若想访 问结构7x输出密文CT 问共享文件,需从云服务商处下载相应的密文并解密。 ≈ Decrypt(vs,k,SK,.C7):输入访间结构;s公销云服务商管理云服务器,并为数据属主科普通用户提供 用户私钥SK,和密钥密文CT,输出明文M。 数据存储和访问服务。 安全模型假设用户以只读方式访问文件。假设云 4系统方案 服务商是半可信的,即云服务商会遵守协议,忠实地执 本文系统方案以 Hadoop云平台为基础,数据属主行合法用户的操作请求,但会试图窥探用户的私密文 通过基于 Hadoop的分层授权模型对文件进行加密,再件,或出于商业利益等原因与恶意用户合谋。同时认为 :传至第三方非可信的云服务器,并由数据属主自主控数据属主、普通用户与域权威、云服务商之间的通信信 张欣晨,杨庚: Hadoop环境中基于属性和定长密文的访间控制方法 2015,51(23) 道绝对安全 的私钥;以及授权普通用户和云服务商。 Slave节点运 4.2方案详述 行为用户授权算法 Delegate。算法伪代码如下。 本文采用了文献[15中的文长度固定的 CP-ABE Delegate(sana, a) 算法,并结合上述层次化系统模型,实现 Hadoop云计算 输入:SKDA,A 环境下基于属性的密文长度和加解密计算量为常量的 输出: SK.SK 访问控制方案 vi∈A:r,← element rando(Zr); 本节按照根权威、域权威、数据属主和普通用户这 fori←0toN-1dc 四个实体角色分别给出详细描述。算法在 Linux环境下 a, element pow zn(g,, P(i) 实现,采用GNU大数运算库 GNU MP和斯坦福大学 element_pow_zn((h,h;),r, 信息安全实验室( Stanford Crypto Group)的双线性对 b: <element pow zn(g r:) 厍PBC forj←lto2N-ldo 4.2.1根权威 c0[]+element pow zn(h;r: Hadoop的 Master节点作为整个层次授权结构的根 sk, fa, b.C. SKA/SKU<(sk 权威,运行系统建立算法 Setup。算法伪代码如下。 4.2.3数据属主 Setup(a,n) 数据属主的主要工作是与 Slave节点交互,获取私 输入:A,U 钥从而加密数据文件并上传至云服务器。数据属主运 输出:PK,MK 行创建新文件算法 Encrypt算法伪代码如下。 MK← element init(zr); Encrypt(Pk, M,n, s fori←0toλ-lde Universe←i+1; 输入:PK,M,,s fori←0to入-2d 输出:CT def attr[i]<i+i+l; W←{N-1,N+2,…,2N-t g, g,d. d,, d, eelement random( s< element random(zr); g,< element pow zn(g, MK); n(∠,s) Z+element_pairing(g,g2) C1← clement pow zn(g,); fori←0to2λ-ldo element pow zn(h。Ihs h[i← element random(; c←H(Y1.s,Co,C1,C2) g, g,, Z, ho.h,-r d,, d2 d,, HI C31← element pow zn(d1,c·s) 根据41节的系统模型和3.3节HDFS的安全机制 C32← element pow_zn(d2,"·s) 利用 Master节点与 Slave节点的 Kerberos认证,简化根 Catelement pow zn(dx, s) 权威和域权威之间的授权机制,完成验证域权威是否合法 C,<C,C、C 的操作: Master节点运行为城权威授权算法 CreateD 算法伪代码如下 CT←(,C0,C1,C2,C3) CreateDA(MK, PK, A 4.2.4普通用户 输入:ME,PK,A 普通用户经域权威授权,在获得数据属主分配的用 户私钥SK后,若该用户的真是属性集RA满是访问结 输出:SK 构y,可使用私钥SK解密密文CT得到明文M。普 ViE DA: r e element random(zr) fori<0 x-1 do 通用户运行访问文件算法 Decrypt.算法伪代码如下。 a:← clcmcnt zn(g,, p(i)) Decrypt,e,PK, SK, CT) element_pow_zn(hh).r) 输入 PK. SK CT b, e element pow zn(g, r, ) 输出:M forj←lto2N-1do if((element _pairing( g, C2) c[[← element pow zn(h,) element-pairing(C,ho I h )& sk←{a,b,c,SKDA←{sk} (element pairing(g, C,)-- 4.2.2域权威 element pairing(C, dd,d))) Hadoop的Save节点作为整个层次授权结构的域 e(RA∩ls)UWi0 权威,主要负责与数据属主的交互,产生数据属主对应 II ci.) j=sUW,j≠i 92 015,51(23 Computer Engineering and Applications计算机工程与应用 E(RAnSIUW)F(RANSUW(O 属主的 Delegate.key (4) Ubuntu2通过SCP命令将上述四个文件(Attl M<C, element_pairing(C2, D,) Univcrsc. txt, dcf attr. txt, public kcy, Dclegatc. kcy )14 f element pairingiCI, Du) 给 Ubuntu owner else (5) Ubuntu owner运行加密程序,加密明文Mes- return⊥ sage. txt,得到密文文件 cipher. txt,并上传全云服务商。 (6) Ubuntu User从云服务商处下载密文文件 cipher 实验流程及数据分析 txt,并运行解密程序,由于解密过程中有校验过程,如果 5.1实验环境 校验失败则会提示巒文无效,校验成功则自接输出解密 CPU: Intel Corc 15-2450M 2.5 GH7 结果。 内存:4GB 53数据分析 平台: VMware Workstation8 图4是系统建立时间随系统属性个数的变化情 Hadoop版本:1.04 况。可见,系统建立时间与系统属性个数成正比 实骑中,一共选用三台上述配置的机器,每台机器 图5是域权威私钥生成时问随系统属性个数的变 分别虚拟出三台 Ubuntu系统,选取美国NCHC机构化情况。可见,域权威私钥的生成时间与系统属性个数 设置在台湾的 Hadoop集群作为云服务商。表1给出成正比 了实验机器的配置及角色分配 图6是固定数据属主属性为5个,数据属主的私钥 52实验流程 生成时间随系统属性个数的变化情况。可见,数据属主 实验中选取 Ubuntu2作为与 Ubuntu owner交互的私钥的生成时间与系统属性个数成正比。 Slave节点。本实验以 Ubuntu l, Ubuntu2, Ubuntu Owner, 图7是加密算法的执行时间随访问结构属性个数 Ubuntu user工作流程为例。 的变化情况。可见加密算法的执行时间近似是一常量, (1) Ubuntu l运行根权威程序,根据 Attr Universe.与访问结构中属性个数无关 txt系统属性集文件,生成 def attr. txt属性集文件 图8是解密算法的执行时间随访问结构属性个数 公钊 public key和域权威DA的私钥 secret key 的变化情况。可见解密算法的执行时间近似是一常量, (2) Ubuntu将上述四个文件( Attr universe. txt,与访问结构中属性个数无关。 def attr. txt, public key, secret key)通过SCP命令传输给 图9是密文长度随访问结构属性个数的变化情 Ubuntu2。 况。表明对于给定的明文,采用固定长度的CP-ABE加 (3) Ubuntu2运行域权威程序,根据获得的 密算法所得密文长度是定值,个受访问结构中属性个数 Universe.txt, def attr. txt, public key, secret key生成数据及其他因素影响 表1实验环境 机器名 操作系统 IP地址 基本配置 角色 Ubuntu 12.0).TS 192.168.1.100 2 processors 512 MI Master Ubuntu Ubuntu 12.04 LTS 192.168.1.101 2 processors 512 MB Slave Ubuntu Ubuntu 12.04 Lts 192.168.1.102 2 processors 512 MB Slavel Ubuntu Ubuntu 12.04 LTS 192.168.1. 104 2 processors 512 MB Slave Ubuntu Ubuntu 12.04 LTs 192.168.1. 105 2 processors 512 MB Slave3 Ubuntu Jbuntu 12.04 Lrs 192.168.1.106 2 processors 512 MB Ubuntu Ubuntu 12.04 LTS 192.168.1.107 2 processors 512 MB Slaves Ubuntu Owner Ubuntu12.04LTs192.168,1.1032 processors512MB数据属主 Ubuntu uscr Ubuntu12.04LTS192.68.1.1082 proccssors512MB普通用户 8000 起150 国餐过 6000 5101520253035404550 51)1520253035404550 系统属性个数 系统属性个数 图4系统建立时间 图5域权威私钥生成时间 张欣晨,杨庚: Hadoop环境中基于属性和定长密文的访间控制方法 2015,51(23) 1500 1000 三三富阳 500 5101520253035404550 5101520253035404550 系统属性个数 访问结构属性个数 图6数据属主私钥生成时间 图7加密算法执行时间 44 目回进 40 38 34 业长 0 5101520253035404550 5101520253035404550 访问结构属性个数 访问结构属性个数 图8解峦算法执行时间 图9密文长度 以上实验结果表明,本文采用的方案可以将加解密 Lecture Notes in Computer Science, 2005, 3494: 457-473 的计算量和密文长度限制在固定值,同时又与基于[8] Oval v, Pandey O, Sahai4,etal. Attribute-based encryp Hadoop的层次化授权模型相结合,在真实的云计算环 tion for fine-grained access control of encrypted data[C]/ 境屮,当用户数目和系统属性个数增加时更能体现岀模 Proceedings of the ACM Conference on Computer and 型的明显优势。 Communications Security, 2006: 89-98 [9]Bethencourt J, Sahai A, Waters B Ciphertext-policy attribute- 6结束语 based encryption[C]/Proceedings-IEEE Symposium on 云计算环境屮的数据安全问题随着云计算的普及 Security and Privacy, 2007: 321-334 凵变得越来越严峻。本文采用基于属性的固定密文长 10 Emura K, Miyaji A, Nomura A, et al. A ciphertext-policy attribute-based encryption scheme with constant cipher 度的加密算法,将密文长度和加解密计算量维持在固定 text length[C/ecture Notes in Computer Scicncc, 2009 值,提高了系统的效率,也诚轻了数据属主和普通用广 45l:13-23 的传输通信量和计算开销;同吋建立了基于 Hadoop的 [Il Goyal V, Jain A, Pandey 0, et al. Bounded ciphertext 层次化授权模型,不仅减少了中心权威授权的负担和风 policy attribute-based encryption[C]//Lecture Notes in 险,也解决了实际云存储环境中存储空间有限的问题。 Computer Science, 2008, 5126: 579-591 在下一步工作中,将研究更加简单高效的CP-ABE算[12] Ibraimi1, Tang Q, Hartal p,eta1 Efficient and prov 法,同时进一步改进系统模型,使其更适合于实现云计 able sccure ciphertcxt-policy attributc-based cncryption 算屮复杂的访问控制 schemes[c]//Lecture Notes in Computer Science, 2009 45l:l-12 参考文献 [13] Chase M Multi-authority attribute based encryption[C]/ [陆嘉恒 Hadoop实战M].2版北京:札械工业出版社,2012 L.ccturc Notes in Computcr Scicncc, 2007, 4392: 515-534 []Conway R w, Maxwell W L, Morgan H L On the imple [14] Yu S, Wang C, Ren K, ct aL. Achieving sccure, scalable mentation of security measures in information systems JI and finc-graincd data acccss control in cloud comput Communications of the ACM, 1972, 15(4: 211-220 ing[C]?Proceedings-IFEE INFOCOM, 2010 3] Denning D EA lattice modcl of sccure information flow[].[ls]张婷,杨庚,滕玮,等云计算屮基于属性和定长密文的访 Communications of the ACM, 1976, 19(5): 236-243 问控制方法[计算机技术与发展,2013 [4] Bell D E, La Padula L JSecure computer system uni- [16] The GNU Multiple Precision arithmetic library (GNU fied exposition and multics interpretation[R][S..: The Mp)ieb/ol]-[2013-05-09]. Http : /gmplib. orgi MITRE Corporation, 1976 [17] The Pairing-Bascd Cryptograph library(PBC)[EB/OL] [5 Biba K J Integrity considerations for secure computer sy [2013-05-09.http://crypto.stanford.edu/pbc/ tems[R. s.I.: The MITRE Corporation, 1977. [18] National Coalition on Hcalth Care(NCHC)(EB/OLI [6 Sandhu R, Coyne E J, Feinstein H L Role-based access [2013-05-09].http://www.nchc.org/ control models[J].IEEE Computer, 1996, 29(2): 38-47 [19] Hadoop clusters on NchciEb/ol].[2013-05-09].htTp: !/ [7 Sahai A, Waters B Fuzzy identity-based encryption[C] hadoop nchc. org.tw

...展开详情
试读 7P 论文研究-Hadoop环境中基于属性和定长密文的访问控制方法.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
weixin_38744207 欢迎大家使用并留下宝贵意见
2019-09-13
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

    成功上传501个资源即可获取
关注 私信
上传资源赚积分or赚钱
最新推荐
论文研究-Hadoop环境中基于属性和定长密文的访问控制方法.pdf 10积分/C币 立即下载
1/7
论文研究-Hadoop环境中基于属性和定长密文的访问控制方法.pdf第1页
论文研究-Hadoop环境中基于属性和定长密文的访问控制方法.pdf第2页

试读结束, 可继续读1页

10积分/C币 立即下载 >