提高python代码运行效率的一些建议
169 浏览量
2020-12-16
23:39:33
上传
评论
收藏 104KB PDF 举报
提高提高python代码运行效率的一些建议代码运行效率的一些建议
1. 优化代码和算法优化代码和算法
一定要先好好看看你的代码和算法。许多速度问题可以通过实现更好的算法或添加缓存来解决。本文所述都是关于这一主题
的，但要遵循的一些一般指导方针是：
测量，不要猜测。 测量代码中哪些部分运行时间最长，先把重点放在那些部分上。
实现缓存。 如果你从磁盘、网络和数据库执行多次重复的查找，这可能是一个很大的优化之处。
重用对象，而不是在每次迭代中创建一个新对象。Python 必须清理你创建的每个对象才能释放内存，这就是所谓的“垃圾回
收”。许多未使用对象的垃圾回收会大大降低软件速度。
尽可能减少代码中的迭代次数，特别是减少迭代中的操作次数。
避免（深度）递归。 对于 Python 解释器来说，它需要大量的内存和维护（Housekeeping）。改用生成器和迭代之类的工
具。
减少内存使用。 一般来说，尽量减少内存的使用。例如，对一个巨大的文件进行逐行解析，而不是先将其加载到内存中。
不要这样做。 听起来很傻是吧？但是你真的需要执行这个操作吗？不能晚点儿再执行吗？或者可以只执行一次，并且它的结
果可以存储起来，而不是一遍又一遍地反复计算？
2. 使用使用 PyPy
你可能正在使用 Python 的参考实现 CPython。之所以称为 CPython，是因为它是用 C 语言编写的。如果你确定你的代码是
CPU 密集型（CPU bound）（如果你不知道这一术语，请参见本文“使用线程”一节）的话，那么你应该研究一下 PyPy，它是
CPython 的替代方案。这可能是一种快速解决方案，无需更改任何一行代码。
PyPy 声称，它的平均速度比 CPython 要快 4.4 倍。它是通过使用一种称为 Just-in-time（JIT，即时编译）技术来实现的。
Java 和 .NET 框架就是 JIT 编译的其他著名的例子。相比之下，CPython 使用解释来执行代码。虽然这一做法提供了很大的
灵活性，但速度也变得慢了下来。
使用 JIT，你的代码是在运行程序时即时编译的。它结合了 Ahead-of-time（AOT，提前编译）技术的速度优势（由 C 和 C++
等语言使用）和解释的灵活性。另一个优点是 JIT 编译器可以在运行时不断优化代码。代码运行的时间越长，它就会变得越优
化。
PyPy 在过去几年中取得了长足的进步，通常情况下，它可以作为 Python 2 和 Python 3 的简易替换方案。使用 Pipenv 这样的
工具，它也可以完美地工作，试试看吧！
3. 使用线程使用线程
大部分软件都是 IO 密集型，而不是 CPU 密集型。如果你对这些术语还不熟悉的话，请看看下面的解释：
IO 密集型（I/O bound）：软件主要是等待输入 / 输出操作完成才能工作。在从网络或缓慢的存储中获取数据时，通常会出现
这种情况。
CPU 密集型（CPU bound）：软件占用了大量的 CPU 资源。它使用了 CPU 所有的能力来产生所需的结果。
在等待来自网络或磁盘的应答时，你可以使用多个线程使其他部分保持运行状态。
一个线程是一个独立的执行序列。默认情况下，Python 程序有一个主线程。但你可以创建更多的主线程，并让 Python 在它们
之间切换。这种切换发生得如此之快，以至于它们看上去就好像是在同时并排运行一样。
但与其他编程语言不同的是，Python 并不是同时运行的，而是轮流运行。这是因为 Python 中有一种全局解释器锁（ Global
Interpreter Lock，GIL）机制。这一点，以及 threading 库在 我撰写的关于 Python 并发性的文章 有详细的解释。
我们得到的结论是，线程对于 IO 密集型的软件有很大的影响，但对 CPU 密集型的软件毫无用处。
这是为什么呢？很简单。当一个线程在等待来自网络的答复时，其他线程可以继续运行。如果你要执行大量的网络请求，线程
可以带来巨大的差异。如果你的线程正在进行繁重的计算，那么它们只是等待轮到它们继续计算，线程化只会带来更多的开
销。
4. 使用使用 Asyncio
weixin_38625143
- 粉丝: 6
- 资源: 916
评论0