Laravel开发-laravel-crawler

Laravel开发-laravel-crawler 基于Laravel队列的分布式Web爬虫框架。

Laravel开发-sitecrawler

Laravel开发-sitecrawler 从谷歌获取关键词位置的Laravel软件包

Node.js-node-crawler-NodeJS中的爬虫拥有简洁的API

node-crawler - NodeJS中的爬虫拥有简洁的API

Renminwang-Message-Crawler-2.rar

这是配合https://blog.csdn.net/CUFEECR/article/details/104550773的代码和数据，可以用于进行测试和交流学习，不得滥用，违者请自负责任。

go语言单并发版爬虫--crawler-v1-v4

go语言单并发版爬虫--crawler-v1-v4 crawler-v1-v4 资源中包含一个完成的go语言并发爬虫案例，其中v1为goroutine+多worker，v2为request+worker双队列，v3将其主模块优化为同时支持v1和v2，v4继续新增多城市访问+排除重复的信息； 该案例非常适合作为go语言入门的练手案例； 更多详细信息参考笔者博文: [golang笔记16--go语言并发版爬虫](https://blog.csdn.net/u011127242/article/details/114161224)

appcrawler-2.4.0-jar-with-dependencies.jar

app自动化测试工具，能够自动点击ui界面实行测试分析，是移动测试的利器

Renminwang-Message-Crawler-1.rar

这是配合https://blog.csdn.net/CUFEECR/article/details/104515322的代码和数据，可以用于进行测试和交流学习，不得滥用，违者请自负责任。

course-crawler-master.zip

一个基于 Python 3 的 MOOC 课程爬虫 可以获取 中国大学MOOC、学堂在线、网易云课堂 MOOC 的免费课程，方便离线观看。 中国大学MOOC和网易云课堂 MOOC 可以获取视频、富文本、附件和字幕； 学堂在线可以获取视频、电子书和字幕。

Node.js-js-crawler-Node.JS的网络爬虫支持HTTP和HTTPS

js-crawler - Node.JS的网络爬虫，支持HTTP和HTTPS

craft-crawler-detect:在Craft 3中检测botscrawlersspiders-源码

Craft 3的CrawlerDetect插件 Craft 3插件，用于检测机器人/爬虫/蜘蛛 安装 打开您的终端并转到Craft项目： cd /path/to/project 然后告诉Composer加载插件： composer require leowebguy/craft-crawler-detect 在控制面板中，转到“设置”→“插件”，然后单击“ Crawler Detect”的“安装”按钮。 概述 Mark Beech的包装。 用法 该插件公开了Crawler Detect的方法： {{ craft . crawlerDetect . isCrawler ? ' I am a crawler. ' : ' I am not crawler. ' }} {% if craft . crawlerDetect . isCrawler %} I am a crawler.

ex-crawler

Ex-Crawler 是一个网页爬虫，采用 Java 开发，该项目分成两部分，一个是守护进程，另外一个是灵活可配置的 Web 爬虫。使用数据库存储网页信息。

app-crawler.zip

谷歌 app-crawler monkey 工具 谷歌 app-crawler monkey 工具 谷歌 app-crawler monkey 工具 谷歌 app-crawler monkey 工具 谷歌 app-crawler monkey 工具

PythonCrawler-Scrapy-Mysql-File-Template, scrapy爬虫框架模板，将数据保存到Mysql数据库或者文件中。.zip

PythonCrawler-Scrapy-Mysql-File-Template, scrapy爬虫框架模板，将数据保存到Mysql数据库或者文件中。

爬虫+selenium自动化+C#+采集器+strong-web-crawler-master

爬虫+selenium自动化+C#+采集器+strong-web-crawler-master。

crawler-1.5.8.zip

java-preferences-hiera.zip,puppetlabs hiera java的java首选项api后端puppetlabs hiera的首选项api后端

go语言单任务版爬虫--crawler-v1

crawler-v1 资源中包含一个完成的go语言爬虫案例，它几乎完全使用正则爬取珍爱网用户基础信息； 该案例非常适合作为go语言入门的练手案例； 更多详细信息参考笔者博文: [golang笔记15--go 语言单任务版爬虫](https://blog.csdn.net/u011127242/article/details/113853533)