使用Python Pandas处理亿级数据的方法
30 浏览量
2020-09-19
06:21:59
上传
评论 2
收藏 162KB PDF 举报
使用使用Python Pandas处理亿级数据的方法处理亿级数据的方法
主要介绍了使用Python Pandas处理亿级数据的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿
到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：
硬件环境
CPU：3.5 GHz Intel Core i7
内存：32 GB HDDR 3 1600 MHz
硬盘：3 TB Fusion Drive
数据分析工具
Python：2.7.6
Pandas：0.15.0
IPython notebook：2.0.0
源数据如下表所示：
Table Size Desc
ServiceLogs 98,706,832 rows x 14 columns
8.77
GB
交易日志数据，每个交易会话可以有多条交易
ServiceCodes 286 rows × 8 columns 20 KB 交易分类的字典表
数据读取数据读取
启动IPython notebook，加载pylab环境：
ipython notebook --pylab=inline
Pandas提供了IO工具可以将大文件分块读取，测试了一下性能，完整加载9800万条数据也只需要263秒左右，还是相当不错了。
import pandas as pd
reader = pd.read_csv('data/servicelogs', iterator=True)
try:
df = reader.get_chunk(100000000)
except StopIteration:
print "Iteration is stopped."
1百万条百万条 1千万条千万条 1亿条亿条
ServiceLogs 1 s 17 s 263 s
使用不同分块大小来读取再调用pandas.concat连接DataFrame，chunkSize设置在1000万条左右速度优化比较明显。
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print "Iteration is stopped."
df = pd.concat(chunks, ignore_index=True)
下面是统计数据，Read Time是数据读取时间，Total Time是读取和Pandas进行concat操作的时间，根据数据总量来看，对5~50个DataFrame对象进行合并，性能表现比较好。
Chunk Size Read Time (s) Total Time (s)
Performance100,000224.418173261.358521200,000232.076794256.6741541,000,000213.128481234.934142√√2,000,000208.410618230.006299√√√5,000,000209.460829230.939319√√√10,000,000207.082081228.135672√√√√20,000,000209.628596230.775713√√√50,000,000222.910643242.405967100,000,000263.574246263.574246
如果使用Spark提供的Python Shell，同样编写Pandas加载数据，时间会短25秒左右，看来Spark对Python的内存使用都有优化。
数据清洗数据清洗
Pandas提供了DataFrame.describe方法查看数据摘要，包括数据查看（默认共输出首尾60行数据）和行列统计。由于源数据通常包含一些空值甚至空列，会影响数据分析的时间和效率，在预览了数据摘
要后，需要对这些无效数据进行处理。
首先调用DataFrame.isnull()方法查看数据表中哪些为空值，与它相反的方法是DataFrame.notnull()，Pandas会将表中所有数据进行null计算，以True/False作为结果进行填充，如下图所示：
Pandas的非空计算速度很快，9800万数据也只需要28.7秒。得到初步信息之后，可以对表中空列进行移除操作。尝试了按列名依次计算获取非空列，和DataFrame.dropna()两种方式，时间分别为367.0
秒和345.3秒，但检查时发现 dropna() 之后所有的行都没有了，查了Pandas手册，原来不加参数的情况下， dropna() 会移除所有包含空值的行。如果只想移除全部为空值的列，需要加上 axis 和 how 两
个参数：
df.dropna(axis=1, how='all')
共移除了14列中的6列，时间也只消耗了85.9秒。
接下来是处理剩余行中的空值，经过测试，在DataFrame.replace()中使用空字符串，要比默认的空值NaN节省一些空间；但对整个CSV文件来说，空列只是多存了一个“,”，所以移除的9800万 x 6列也只
资源评论
