一个 Python 中优雅的数据分块方法
看到这个标题你可能想一个分块能有什么难度?还值得细说吗,最近确实遇到一
个有意思的分块函数,写法比较巧妙优雅,所以写一个分享。
日前在做需求过程中有一个对大量数据分块处理的场景,具体来说就是几十万量级的数据,
分批处理,每次处理 100 个。这时就需要一个分块功能的代码,刚好项目的工具库中就有一
个分块的函数。拿过函数来用,发现还挺好用的,传入列表和分块大小,然后就能遍历取出
分好的数据。
背景
看到这个标题你可能想一个分块能有什么难度?还值得细说吗,最近确实遇到一个有意思
的分块函数,写法比较巧妙优雅,所以写一个分享。
日前在做需求过程中有一个对大量数据分块处理的场景,具体来说就是几十万量级的数据,
分批处理,每次处理 100 个。这时就需要一个分块功能的代码,刚好项目的工具库中就有一
个分块的函数。拿过函数来用,发现还挺好用的,传入列表和分块大小,然后就能遍历取出
分好的数据。调用方式如下:
from xxx import chunk_fun
chunk_list = chunk_fun(arr, 100) # 对数据进行分块,指定块的大小为 100
for chunk in chunk_list:
print(chunk)