跟着嵩天老师学习爬虫三大模块笔记

request模块 HTTP协议方法 requests库方法 说明 GET requests.get(url,params=None,**kwarges) 请求获取url位置的资源 HEAD requests.head(url,**kwargs) 请求获取url位置资源的响应消息报告，即获得该资源的头部信息 POST requests.post(url,data=None,json=None,**kwarges) 请求像URL位置的资源后附加新的数据 PUT requests.put(url,data=None,**kwarges) 请求向url位置存储一个资源 在学习网络爬虫的过程中，了解和掌握HTTP协议的方法以及如何使用Python中的requests库至关重要。嵩天老师的课程中，重点讲解了爬虫的三大模块之一——request模块，这涉及到HTTP的基本方法，包括GET、HEAD、POST、PUT、PATCH和DELETE。 1. GET方法：`requests.get(url, params=None, **kwargs)`是最常用的方法，用于请求获取指定URL位置的资源。通过传递参数`params`，可以向URL添加查询字符串。 2. HEAD方法：`requests.head(url, **kwargs)`与GET类似，但只返回资源的头部信息，不下载整个内容，通常用于检查URL的有效性或获取元数据。 3. POST方法：`requests.post(url, data=None, json=None, **kwargs)`用于向URL发送带有数据的请求，常用于提交表单或上传文件。`data`参数用于提交表单数据，而`json`参数用于提交JSON格式的数据。 4. PUT方法：`requests.put(url, data=None, **kwargs)`请求将数据存储到指定URL，如果URL已有资源，则会被替换。 5. PATCH方法：`requests.patch(url, data=None, **kwargs)`用于局部更新URL位置的资源，即只修改资源的部分内容，而不是完全替换。 6. DELETE方法：`requests.delete(url, **kwargs)`请求删除指定URL存储的资源。 除了这些基本方法，requests库还提供了`requests.request()`作为通用方法，可以实现上述所有HTTP方法，并包含13个访问控制参数，如`params`、`data`、`json`、`headers`、`cookies`、`auth`、`files`、`timeout`、`proxies`、`allow_redirects`、`stream`、`verify`和`cert`，它们允许我们自定义请求的各个细节。 在处理网页内容时，正则表达式（re模块）也是必不可少的工具。它允许我们根据预定义的模式匹配和操作字符串。在HTML解析中，`BeautifulSoup`库被广泛使用，它可以帮助我们方便地遍历和提取HTML或XML文档的结构化信息。 对于BeautifulSoup的使用，我们可以关注以下几个关键点： - `.name`：获取标签的名字，如示例中的`.name`获取`a`标签的名字。 - `.attrs`：获取标签的属性，以字典形式表示。 - `.string`：获取标签内的非属性字符串内容。 - `.comment`：获取标签内的注释内容。 - `.contents`和`.children`：分别用于获取子节点的列表和迭代器，方便遍历子节点。 - `.descendants`：获取所有子孙节点的迭代器，可用于遍历整个子树。 - `.parents`和`.ancestors`：用于获取当前节点的父节点和祖先节点。 - `.next_sibling`、`.previous_sibling`、`.next_siblings`和`.previous_siblings`：分别用于获取相邻的兄弟节点和迭代相邻的兄弟节点。 通过这些属性和方法，我们可以深入解析HTML文档，提取所需信息。在学习过程中，实践是关键，逐步理解和应用代码，通过编写和运行示例，可以更好地掌握这些概念和技巧。例如，可以尝试抓取指定网页的某个元素，或者解析并提取页面上的特定数据。记住，每学习一个新的知识点，都要通过实践加深理解，逐步积累，形成自己的知识体系。