没有合适的资源?快使用搜索试试~ 我知道了~
Mysql提升大数据表拷贝效率的解决方案
3 下载量 127 浏览量
2020-12-16
02:41:10
上传
评论
收藏 144KB PDF 举报
温馨提示
前言 本文主要给大家介绍了关于Mysql提升大数据表拷贝效率的相关内容,分享出来供大家参考学习,我们大家在工作上会经常遇到量级比较大的数据表 ; 场景: 该数据表需要进行alter操作 比如增加一个字段,减少一个字段. 这个在一个几万级别数据量的数据表可以直接进行alter表操作,但是要在一个接近1000W的数据表进行操作,不是一件容易的事; 可能情况: 1.导致数据库崩溃或者卡死 2.导致其他进程 进行数据库读写I/O变慢 3.还有一个可能就是数据格式不一致 导致数据无法写入(比如一个varchar类型要改为int类型,当数据长度过大时会报错) 解决方案:– 1.重新创建一张数据表
资源详情
资源评论
资源推荐

Mysql提升大数据表拷贝效率的解决方案提升大数据表拷贝效率的解决方案
前言前言
本文主要给大家介绍了关于Mysql提升大数据表拷贝效率的相关内容,分享出来供大家参考学习,我们大家在工作上会经常遇到量级比较大的数据表 ;
场景: 该数据表需要进行alter操作 比如增加一个字段,减少一个字段. 这个在一个几万级别数据量的数据表可以直接进行alter表操作,但是要在一个接近1000W的数据表进行操
作,不是一件容易的事;
可能情况可能情况:
1.导致数据库崩溃或者卡死
2.导致其他进程 进行数据库读写I/O变慢
3.还有一个可能就是数据格式不一致 导致数据无法写入(比如一个varchar类型要改为int类型,当数据长度过大时会报错)
解决方案解决方案:–
1.重新创建一张数据表 create new_table select * from old_table 这种形式相当于复制一张新的数据表 —-(不建议): 这里面仅仅复制数据表的字段和数据 , 但是表结构 主键,索引
和默认值都不会拷贝过来
2.分成两个步骤
1). create new_table like old_table 创建一个新表,表结构和old_table一致(包含主键,索引和默认值等)
2). insert into new_table select * from old_table 把old_table的数据全部拷贝到new_table里面去
—-(如果数据量少的话,在几万行左右建议使用此方案, 如果数据量到达数百万 上千万时, 这个也是不适用的)
扩展: 如果你只要拷贝一部分数据表的话,可以指定 insert into new_table (字段1,字段2) select 字段1,字段2 from old_table [limit n,m] ;
3.
1).通过select from into outfile 命令来导出数据表数据
2).通过load data infile into 命令来导入数据表数据
不多废话 直接看图,感受下100万左右的数据量 方案2 和 方案3 处理速度相差多少
>select * from money_info into outfile '/var/lib/mysql-files/money.txt';
>create table money_info_cyq11 like money_info;
>load data infile '/var/lib/mysql-files/money.txt' into table money_info_cyq11;
>create table money_info_cyq22 like money_info;
>insert into money_info_cyq22 select * from money_info;
速度在4倍左右,网上说的20倍还没体验到[捂脸]
注注:这里还存在一个问题这里还存在一个问题
outfile的目录是有要求的
>show variables like '%secure%';
通过这条命令可以看到secure_file_priv 对应out_file的目录在哪个位置 , 指定这个位置导出即可;

























weixin_38635996
- 粉丝: 3
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 大数据时代下财务共享服务中心研究(1).docx
- 计算机网络拓扑结构获奖教案(1).doc
- 《单片机原理与应用》课程实验教学改革研究(1).docx
- HiteVision交互式电子白板培训手册(1).doc
- 浅谈“深度学习”的有效策略(1).doc
- 2014年9月份考试Java程序设计第二次作业(1).doc
- 2022年计算机兴趣小组活动总结(1).docx
- 国家开放大学电大《Windows网络操作系统管理》机考5套标准试题及答案-1(1).docx
- 项目管理知识体系暨软件项目管理探讨(1).ppt
- 2015年北京航空航天大学计算机应用技术考博参考书(1).doc
- 国家开放大学电大《电子商务概论》形考任务4试题及答案(1).docx
- 软件工程毕业设计-基于jsp的网上投稿系统设计与实现(专家审稿)(1).doc
- 《软件工程》作业及答案(1).docx
- 上海中小企业信息化需求与市场分析(1).pptx
- 河北省中小企业会计信息化实施策略研究的论文-会计研究论文(1).docx
- 如何构建网络环境下的计算机信息安全体系.(1).doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制

评论0