数据库作业,处理10gtxt文件,将10g导入到Mysql中,并实现查询和导出,简单可视化
思路:对10gtxt数据进行分割后导入mysql
create table DB_gps(
car_id varchar(6) not null comment '车辆标识',
event int(2) not null comment '触发事件',
status int(2) not null comment '运营状态',
gps_date date not null comment 'GPS时间',
gps_lon float(8,4) not null comment 'GPS经度',
gps_lat float(8,4) not null comment 'GPS维度',
gps_speed int(4) not null comment 'GPS速度',
gps_dir int(4) not null comment 'GPS方位',
gps_status int (2) not null comment 'GPS状态'
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
数据量为:1亿8千万条数据
spl_size.py 按照文件流读取的大小进行文件的切割。效率更快
spl_rows.py 按照预设置的行数进行文件切割。
use_sql.py 读取切割好后的文件目录,添加Load data+'filename' 到txt中,然后使用bat 批处理导入到mysql中。
数据库,大数据.zip
需积分: 5 108 浏览量
2024-04-25
23:10:39
上传
评论
收藏 28.36MB ZIP 举报
生瓜蛋子
- 粉丝: 3797
- 资源: 4426
最新资源
- 【全网最新最全】大气公司年度月度总结汇报PPT
- C语言实现低功耗STM32F411开发板(原理图+PCB源文件+官方例程+驱动等).zip
- C语言实现基于STM32 的联合调试侦听设备解决方案(原理图、PCB源文件、调试工具、视频).zip
- 【全网最全最酷】部门年度年终工作总结汇报PPT模板
- C语言实现基于STM32F103RC的电子相册(原理图、PCB源文件、程序源码及制作).zip
- C语言实现基于stm32和mpu9250的usb hid键盘、鼠标、游戏控制器.zip
- SAP GUI for Windows 7.70 Patch16
- C语言实现基于物联网的户外环境检测装置(STM32、APP、WIFI).zip
- Models for ICM/MCM美赛常用模型.zip
- cef源码CEF全称Chromium Embedded Framework
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈