爬取豆瓣电影 Top250、爬取知乎问题和回答

### 知识点一：爬取豆瓣电影Top250 #### 1.1 技术栈介绍 - **Requests库**：Python中一个简洁且简单的HTTP库，用于发起网络请求，获取HTML页面数据。 - **BeautifulSoup库**：Python中的一个库，用于解析HTML或XML文档，方便提取所需信息。 #### 1.2 实现步骤 1. **设置请求头**：模拟浏览器的行为向服务器发起请求。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } ``` 2. **定义爬取函数**：`get_movie_info(url)`函数接收一个URL参数，用于爬取特定页面的数据。 - **发送请求**：使用requests库获取网页内容。 - **解析内容**：利用BeautifulSoup解析网页源码。 - **提取信息**：使用BeautifulSoup的方法找到包含电影信息的元素，并从中提取电影名、评分、导演、主演等数据。 - **存储信息**：将提取的数据以字典形式存储，并返回结果。 3. **分页处理**：豆瓣电影Top250采用分页形式展示，通过改变URL中的参数实现不同页面的爬取。 - **构建URL**：构造每个页面的完整URL。 - **循环爬取**：遍历指定的页数范围，调用爬取函数获取每页的数据。 4. **整合数据**：将所有页面的数据合并成一个列表，并进行输出或进一步处理。 #### 1.3 示例代码分析 ```python def get_movie_info(url): # 发送请求，获取网页内容 response = requests.get(url, headers=headers) # 解析网页内容 soup = BeautifulSoup(response.text, 'html.parser') # 找到电影信息所在的元素 movie_items = soup.find_all('div', class_='item') # 存储电影信息 movies = [] for item in movie_items: # 获取电影名称、评分、导演、主演 title = item.find('span', class_='title').text rating = item.find('span', class_='rating_num').text directors = [director.text for director in item.find_all('a', rel='v:directedBy')] actors = [actor.text for actor in item.find_all('a', rel='v:starring')] # 将电影信息存入列表 movies.append({ 'title': title, 'rating': rating, 'directors': directors, 'actors': actors }) return movies ``` ### 知识点二：爬取知乎问题和回答 #### 2.1 技术栈介绍 - **Requests库**：用于发起HTTP请求。 - **BeautifulSoup库**：用于解析HTML文档。 - **正则表达式（re库）**：辅助提取特定格式的信息。 #### 2.2 实现步骤 1. **设置请求头**：与豆瓣电影爬取相同，用于模拟浏览器行为。 2. **定义爬取函数**：`get_answers(url)`函数接收问题的URL作为参数。 - **发送请求**：获取网页内容。 - **解析内容**：使用BeautifulSoup解析HTML。 - **提取信息**：通过CSS选择器或正则表达式匹配，提取答案作者、答案内容等。 - **存储信息**：将提取的数据存储为字典或列表结构。 3. **分页处理**：知乎的问题页面可能包含多页答案，可以通过分析URL规律，动态构建不同页的URL并进行爬取。 #### 2.3 示例代码分析 ```python def get_answers(url): # 发送请求，获取网页内容 response = requests.get(url, headers=headers) # 解析网页内容 soup = BeautifulSoup(response.text, 'html.parser') # 提取答案信息 answer_items = soup.find_all('div', class_='List-item') answers = [] for item in answer_items: author = item.find('h2', class_='QuestionItem-title').text.strip() content = item.find('div', class_='RichContent-inner').text.strip() answers.append({ 'author': author, 'content': content }) return answers ``` ### 总结 以上两个案例展示了如何使用Python中的requests和BeautifulSoup库来爬取网页数据。通过合理的代码设计和适当的异常处理，可以有效地从互联网上抓取大量有用的信息。需要注意的是，在实际应用过程中，应尊重网站的Robots协议，并考虑对请求频率进行限制，避免对目标网站造成不必要的负担。同时，对于大规模的数据抓取项目，还需要考虑到数据存储和后续处理等问题。