爬虫——-多协程

python 是一个脚本语言， 里面编写的代码是从头一行一行的执行，所以一般我们要等到它全部执行完，才能拿到我们要的数据。 一个爬虫爬取大量数据要爬很久，那我们能不能让多个爬虫一起爬取？ 爬虫每发起一个请求，都要等服务器返回响应后，才会执行下一步。而很多时候，由于网络不稳定，加上服务器自身也需要响应时间，导致爬虫会浪费大量时间在等待上，这也是爬取大量数据时，爬虫的速度会比较慢的原因。 每台计算机都靠着CPU（中央处理器）干活，单核CPU的计算机在处理多任务时，会出现一个问题：每个任务都要抢占CPU，执行完了一个任务才开启下一个任务。CPU毕竟只有一个，这会让计算机处理的效率很低。 为了解决 ：爬虫——-多协程 ：在Python中，代码的执行遵循线性顺序，即从上到下逐行执行。因此，对于爬虫来说，如果要爬取大量数据，通常需要等待整个过程完成才能获取所有信息。在爬虫工作中，每次发送请求后，必须等待服务器响应后才能继续执行下一步。由于网络延迟和服务器响应时间，爬取大量数据时，爬虫的效率会降低。单核CPU在处理多个任务时，会遇到一个问题，即每个任务需要依次抢占CPU资源，导致处理效率低下。为解决这个问题，引入了非抢占式的异步技术——多协程。 ：协程、爬虫 【正文】： 多协程是一种能够提升程序执行效率的技术，特别是在需要处理大量并发任务的场景下，如网络爬虫。Python中的多协程允许程序在同一时刻执行多个任务，而无需等待某个任务完成。这样可以极大地提高爬虫的爬取速度，尤其是在抓取多个网页时，避免了逐个请求的等待时间。 这里提到的多协程库是`gevent`，它提供了一种协作式的异步模型，通过绿线程（greenlet）实现。与标准的线程不同，绿线程不是由操作系统调度，而是由`gevent`库内部管理，从而避免了线程切换带来的开销。`gevent`通过事件驱动和协程的配合，使得程序在等待I/O操作时，可以切换到其他任务，提高了CPU的利用率。 以下是一个使用`gevent`进行多协程爬虫的示例： 我们需要导入必要的库： ```python import gevent import time import requests ``` 然后，定义一个爬虫函数，负责抓取网页并打印相关信息： ```python def crawler(url): r = requests.get(url) print(url, time.time() - start, r.status_code) ``` 接下来，创建一个任务列表，并对每个URL使用`gevent.spawn()`创建一个协程任务： ```python tasks_list = [] for url in url_list: task = gevent.spawn(crawler, url) tasks_list.append(task) ``` 使用`gevent.joinall(tasks_list)`启动所有任务，等待它们完成： ```python gevent.joinall(tasks_list) ``` 通过对比，可以看到使用`gevent`的多协程爬虫比传统的顺序执行方式更快，因为它可以同时处理多个请求，而无需等待每个请求的完整响应。 在使用`gevent`之前，通常还需要使用`monkey.patch_all()`对程序进行预处理，使标准的阻塞I/O调用（如`requests.get()`）变为非阻塞。这是因为`gevent`通过替换标准库中的某些部分，使其能够识别并转换这些调用为协程友好的形式。 总结起来，多协程是提升Python爬虫性能的关键技术之一，特别是对于需要处理大量并发请求的情况。`gevent`库提供了一个高效的实现方式，利用协作式异步模型优化了爬虫的执行流程，减少了等待时间，提高了爬取效率。