pandas string转dataframe的方法
169 浏览量
2020-09-20
15:24:58
上传
评论
收藏 38KB PDF 举报
pandas string转转dataframe的方法的方法
下面小编就为大家分享一篇pandas string转dataframe的方法，具有很好的参考价值，希望对大家有所帮助。一
起跟随小编过来看看吧
今天业务上碰到用pandas处理一个大文件的内存不够问题，需要做concat 合并多个文件，每个文件数据在1.4亿行左右。当时
第一反应是把dataframe分割成多块小文件处理，后面发现即使pandas内存问题解决了，用pickle做保存数据时也会提升内存
不够的报错，后来把dataframe对象转化成string，发现内存占用减少了近一半。
所以打算用先转成string再dump到离线文件里，官网文档上只有to_string的说明，而从string转dataframe却没有提供直接的函
数。
其实很简单，我们可以把string放到一个文件对象里，然后通过read_csv函数来创建dataframe对象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
以上这篇pandas string转dataframe的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持
我们。
资源评论
weixin_38743968
- 粉丝: 404
- 资源: 2万+
最新资源
- 基于stm32f103c单片机+MPU6050+0.96英寸OLED显示屏双柄遥控器硬件（原理图+PCB）工程文件.zip
- 整理的关于少儿编程的学习路径，以及如何在小升初，初升高和大学充分的利用起来编程经验的优势
- 足球比赛结果统计表2006-2011年大约28W场比赛
- 基于PHP+mysql的社区交流系统（源代码）
- yolov5,SSD 可能使用到的一些代码
- 一键批量生成多层次文件夹结构，使用Python脚本实现嵌套文件夹批量生成
- 基于c51单片机+DS1302+DHT11温湿度模块+LCD1602显示的万年历硬件原理图+BOM+软件程源码序+仿真图.zip
- NSGA2的MATLAB代码
- Messagepassingtest_GCN_DGL.py
- Sh，Docker 运维好帮手，一招通过 sh 脚本批量快速启动和重启多个Docker 容器
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
