python读取大文件越来越慢的原因与解决

背景： 今天同事写代码，用python读取一个四五百兆的文件，然后做一串逻辑上很直观的处理。结果处理了一天还没有出来结果。问题出在哪里呢？ 解决： 1. 同事打印了在不同时间点的时间，在需要的地方插入如下代码: print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time())) 发现一个规律，执行速度到后面时间越来越长，也就是处理速度越来越慢。 2. 为什么会越来越慢呢？ 1）可能原因1，GC 的问题，有篇文章里面写，python list append 的时候会越来越慢，解决方案是禁止GC: 使用 gc.disabl