基于Python3的Scrapy网页爬虫框架.zip

网页爬虫设计 ==== 创建项目 ------- - 进入指定文件夹，右击空白处>在此处打开命令行窗口 - 创建项目 ``` Scrapy startproject DgSpider ``` 主要代码文件说明 ------- - 爬虫主类 ：UrlSpider.py、ContentSpider.py *项目包含2个爬虫主类，分别用于爬取文章列表页所有文章的URL、文章详情页具体内容* - 内容处理类 ：pipelines.py *处理内容* - 传输字段类 ：items.py *暂存爬取的数据* - 设置文件 ：settings.py *用于主要的参数配置* - 数据库操作：mysqlUtils.py *链接操作数据库* - 文本处理、上传文本：PostHandle.py *处理文本*