Python项目开发实战_爬虫与二级域名枚举_编程案例解析实例详解课程教程.pdf
版权申诉
139 浏览量
2023-05-02
11:37:36
上传
评论
收藏 1.73MB PDF 举报
185
项目
12 Scrapy
模块——爬虫与
二级域名枚举
项目
Scrapy
模块
—
爬虫与二级域名枚举
在信息收集阶段，很多时候都会收集一个顶级域名的二级域名，这是因为二级域名所
对应的程序与顶级域名所对应的程序可能在同一服务器下，或在同一内网中。如果二级域
名所对应的 Web 服务存在漏洞，也会危害到顶级域名所对应的 Web 服务。
本项目利用 Python3 中的 Scrapy 模块来爬取搜索引擎中的二级域名。
【内容提要】
● 使用 pip3 安装模块
● 创建 Scrapy 项目
● 分析 URL
● 分析网页源码
● Xpath 规则的使用
● 爬虫程序的编写
● 数据爬取与清洗
任务
1
安装
Scrapy
模块
Scrapy 是 Python 开发的一个快速、高层次的屏幕抓取和 Web 抓取框架，用于抓取 Web
站点并从页面中提取结构化的数据。Scrapy 用途广泛，可以用于数据挖掘、监测和自动化
测试。
Scrapy 吸引人的地方在于它是一个框架，任何人都可以根据需求方便地修改。它也提
供了多种类型爬虫的基类，如 BaseSpider、sitemap 爬虫等，最新版本又提供了 Web2.0 爬
虫的支持。
Scrapy 模块的安装可以使用项目 11 的 PyCharm 安装方法，也可以使用 pip3 命令安装，
本项目采用的是使用 pip3 安装，下载及安装命令如下：
pip3 install scrapy
资源评论
