g-crawl-py:使用实用程序在 Python 中进行 Gevent 爬网

g-爬行-py 基于 Qless 的爬网作业和基于 gevent 的爬网。 热死了！ 安装 典型安装方式： sudo python setup.py install 除了库本身reppy ，这urllib3安装reppy 、 urllib3 、 requests和gevent 。 除此之外，您还必须手动安装 qless-py 直到它在pip上发布： git clone git://github.com/seomoz/qless-py.git cd qless-py sudo python setup.py install 在您需要运行qless作业之前，您将不需要它，但是当那一天不可避免地到来时，您将需要 Redis 2.6。 不幸的是，Redis 2.6 已被推迟，并且仍然仅作为不稳定版本提供。 注意：您只需要在托管队列的系统上安装 Redis 2.6。 这可能是也可能不是您运