用python实现的爬取小说网站资源的爬虫毕业设计基于lxml和requests

# ReptileIntroduce #### 介绍 小说网站爬虫 #### 需求 python 3.x 注意：lxml 目前不支持 3.11 #### 类库 lxml #pip install lxml requests #pip install requests #### 介绍2 ```bash python .\runPythonSprites.py -f .\findKeyDir -get -db -rp 2 python .\rebuildFindKeyWordFile.py .\fileKerIniDir ``` ​ ## 参数说明 ``` runPythonSprites.py 爬虫脚本的总体调用脚本 -p 指定查找路径（文件夹）[新版是无效的] -f 指定关键字文件[新版支持文件夹(它将会自动递归查找所有 txt 文件)] -af 目标为目录，将会自动获取目录中的所有文件，并且填充到 -f 选项 -k 指定关键字,与 -f 可以联合使用 -s 指定关键字文件切割，默认为换行符 -get 将会自动调用爬虫脚本，添加参数为运行指定脚本。如： -get hgq26 运行 hgq26.py，后缀 .py 可忽略，没有输入参数为运行已知脚本（参考 runPythonSprites.py 中 runStrpiteList 变量） -ig 或 ignore 将会跳过该脚本的运行 -db 选择从数据库文件中导出信息[新版默认直接写入文件，但单个 py 的网站爬虫可以忽略] -rp 筛选过期的小说 rebuildFindKeyWordFile.py 查找配置文件的总调整，会删除所有查找到的文件的关键字，删除重复并且排序有效内容 支持目录与文件参数，若输入目录，则会自动递归查找文件 -af 自动搜索路径（该路径包括文件与目录，目录时，将会递归枚举所有文件），并把所得赋予到 -f 选项下 ```