静态网页爬取
实验内容：
(1)使用 urllib3 库生成 HTTP 请求；
(2)使用 urllib3 库处理请求头、超时和请求重试；
(3)使用 Requests 库生成 HTTP 请求、查看状态码与编码；
(4)使用 Requests 库处理请求头与响应头、设置超时；
(5)使用 chrome 开发者工具的元素面板查看页面元素和页面源码；
(6)使用正则表达式模块匹配字符串；
(7)使用正则表达式查找网页中的标题内容；
(8)使用 etree 模块实现通过 Xpath 获取标题内容、节点下的文本内容；
(9)使用 Beautiful Soup 4 模块创建 BeautifulSoup 对象；
(10)使用 Beautiful Soup 4 模块搜索文档树；
(11)使用 JSON 模块存储 Xpath 获取的文本内容为 JSON 文件;
(12)使用 PyMySQL 库将 Beautiful Soup 库获取的标题存储入 MySQL 数据
库。
实验过程:
1.用 requests 模块向 http://www.baidu.com 发送请求 并用 re 模块解析
网页源代码 提取信息
2. 用 urllib3 模块向 http://www.baidu.com 发送请求 并用 xpath 解析网
页源代码 提取信息 利用 json 写入文件
资源评论
