电子设计工程
Electronic Design Engineering
第 27卷
Vol.27
第 23期
No.23
2019年 12月
Dec. 2019
收稿日期:2019-05-21 稿件编号:201905106
作者简介:谢梦怡(1986—),女,福建泉州人,硕士,讲师。研究方向:大数据、云计算、网络工程、人工智能。
混合云存储 架 构下 分 布式 大 数据 呈 爆炸 性 增
长,使现有信息提供源受到前所未有的挑战,信息内
容不断丰富对容量产生巨大要求,不间断运行需求
促使系统具有极高可用性
[1]
。以往集中式数据存储
方式在混合云存储架构下分布式大数据的存储方面
存在一定局限性,为此,对分布式大数据异步迁移具
有重要性
[2]
。
传统大数据异步迁移系统在一定程度上影响数
据访问速度,大大降低了数据迁移效率,为此,提出
混合 云存 储架 构 下分 布式 大数 据异 步迁 移 系统 设
计。在降低数据管理成本基础上,优化数据访问速
度,提高大数据迁移效率。
1 混合云存储架构分析
基于分布式大数据海量性、多样性、空间性显著
特征,提出了适合于分布式大数据特性的混合云存
储架构。在混合云存储架构下,云存储环境是由两种
云平台组成的,分别是私有云平台和公有云平台,将两
种平台优势组合在一起,使其成为更高性能存储平
台
[3]
。而在混合云存储架构下,系统高效性关键在于如
何 对 大 数 据 进 行 异 步 迁 移 ,为 了 对 混 合 云 存 储 架
混合云存储架构下分布式大数据异步迁移系统设计
谢梦怡
(泉州信息工程学院 福建 泉州 362000)
摘要:在大数据呈爆发式增长情况下,采用传统迁移系统存在迁移响应速率慢的问题,针对该问
题,设计了混合云存储架构下分布式大数据异步迁移系统。采用主从同步服务器,通过 SQL thread
线程读取,实现数据库主从同步与分离。依据大数据迁移流程,分析时长和访问频率,由此获取迁
移函数,在混合云存储架构下,对敏感数据集进行判断,实现对迁移函数最大数据集的迁移。系统
运行结果表明,混合云存储架构下设计的系统迁移响应速率更快,优化了迁移系统性能。
关键词:混合云存储;分布式大数据;异 v 步迁移;主从同步服务器;迁移函数
中图分类号:TN301 文献标识码:A 文章编号:1674-6236(2019)23-0045-05
DOI:10.14022/j.issn1674-6236.2019.23.009
Design of distributed large data asynchronous migration system based on hybrid
cloud storage architecture
XIE Meng⁃yi
(Quanzhou University of Information Engineering,Quanzhou 362000,China)
Abstract: In the case of explosive growth of large data,the traditional migration system has the problem
of slow migration response rate. To solve this problem,a distributed asynchronous migration system for
large data based on hybrid cloud storage architecture is designed. The master- slave synchronization
server is used to read through the SQL thread to realize the synchronization and separation of the master-
slave database. According to the large data migration process,the migration function is obtained by
analyzing the time and access frequency. Under the hybrid cloud storage architecture,the sensitive data
sets are judged to realize the migration of the largest data set of the migration function. The system
running results show that the migration response rate of the system designed under the hybrid cloud
storage architecture is faster,and the performance of the migration system is optimized.
Key words: hybrid cloud storage ; distributed large data ; asynchronous migration ; master- slave
synchronous server;migration function
-- 45