数据库和应用层业务迁移方案模板
数据库,应用层,中间件,云业务平台,数据迁移,跨云平台迁移数据和应用层迁移方案模板
随着全国去IOE的风波,国内很多公司面临着去掉oracle,使用国产数据库,或者选择上云平台的情况,云平台的安装在11.2.0.4版本的时候会出现集群一些报错等问题,和一些网络设置问题,次文档可以帮助更快的在云环境山部署oracle集群
由于大数据里面涉及到非关系型数据库如hive、kudu、hbase等的数据迁移,目前涉及到的迁移工具都没有支持hive数据库的事务表的迁移,如果hive库里面存在大量的事务表的时候,目前的工具都是不支持的,例如华为的CDM,阿里研发的datax,hadoop的distcp都是不支持大数据事务表的迁移。但是目前很多公司随着数据量的增涨和上云的趋势,出现了喝多公司迁移大数据平台上云的需求,如果进行上云就要涉及到数据的迁移和各个不同平台数据版本的适配等问题。 下面为从自建的数据中心迁移hadoop到华为云上适配大数据平台MRS的一次项目迁移,此项目涉及到hive、kudu、hbase 的数据迁移,数据总量达到了15T,此文档是耗时5月时间和时间的检验,通过脚本编辑批量迁移完成大数据迁移上云的最终目标,里面涉及具体的迁移方案、解决方案、迁移流程、迁移脚本