### Python采集百度百科的方法
在本篇文章中，我们将详细介绍如何使用Python进行百度百科网页的数据抓取，这将涉及Python中的正则表达式匹配以及网页抓取等技术要点。通过学习这些内容，读者能够掌握基本的网页数据抓取方法，并能够灵活应用于其他场景。
#### 一、准备工作
在正式开始之前，我们需要确保已经安装了必要的库：
- `urllib2`：用于处理HTTP请求。
- `re`：用于正则表达式的操作。
如果在Python 3环境中，`urllib2`已更新为`urllib.request`，因此需要注意模块名的变化。
#### 二、网页抓取基础
##### 2.1 HTTP请求发送
在Python中，我们可以使用`urllib2`（或`urllib.request`）来发送HTTP请求并获取网页内容。以下是一个简单的示例代码：
```python
def getHtml(url, time=10):
response = urllib2.urlopen(url, timeout=time)
html = response.read()
response.close()
return html
```
这里定义了一个函数`getHtml`，它接受一个URL地址作为参数，并返回该URL对应的HTML内容。
##### 2.2 处理编码问题
由于网页内容可能存在不同的编码方式，因此我们需要正确地解码这些内容。在本示例中，使用了`gb2312`编码进行解码，并转换为`utf-8`编码：
```python
html = html.decode('gb2312', 'replace').encode('utf-8')
```
这一步非常重要，因为不正确的编码处理会导致乱码问题。
#### 三、正则表达式基础
在Python中，正则表达式主要用于字符串模式匹配。在本案例中，我们使用正则表达式来提取百度百科页面中的标题和内容。
##### 3.1 提取标题
为了提取标题，我们定义了如下正则表达式：
```python
title_reg = r'<h1 class="title" id="[\d]+">(.*?)</h1>'
```
这里的关键点是`<h1>`标签内的文本内容。`[\d]+`表示数字，`(.*?)`则是非贪婪匹配模式，用于捕获`<h1>`和`</h1>`之间的文本内容。
```python
title = re.compile(title_reg).findall(html)
```
使用`re.compile`编译正则表达式，并使用`.findall()`方法查找所有匹配项。
##### 3.2 提取内容
同样地，我们也需要从页面中提取正文内容。为此，我们定义了如下正则表达式：
```python
content_reg = r'<div class="card-summary-content">(.*?)</p>'
```
这里的正则表达式用于匹配`<div>`标签内的文本内容。
```python
content = re.compile(content_reg).findall(html)
```
同样使用`.findall()`方法提取所有匹配的内容。
#### 四、清理文本
在获取到原始HTML内容后，还需要进行一些文本清理工作。例如，移除HTML标签、空格等。
```python
def clearBlank(html):
if len(html) == 0: return ''
html = re.sub('\r|\n|\t', '', html)
while html.find(" ") != -1 or html.find('') != -1:
html = html.replace(' ', '').replace('', '')
return html
```
这个函数`clearBlank`可以用来移除不必要的空白字符，如换行符、制表符等，并且通过循环进一步清除多余的空格。
#### 五、完整示例
我们结合以上步骤，得到完整的脚本如下所示：
```python
#!/usr/bin/python
# -*- coding: utf-8 -*-
# encoding=utf-8
# Filename: get_baike.py
import urllib2, re
def getHtml(url, time=10):
response = urllib2.urlopen(url, timeout=time)
html = response.read()
response.close()
return html
def clearBlank(html):
if len(html) == 0: return ''
html = re.sub('\r|\n|\t', '', html)
while html.find(" ") != -1 or html.find('') != -1:
html = html.replace(' ', '').replace('', '')
return html
if __name__ == '__main__':
html = getHtml('http://baike.baidu.com/view/4617031.htm', 10)
html = html.decode('gb2312', 'replace').encode('utf-8')
title_reg = r'<h1 class="title" id="[\d]+">(.*?)</h1>'
content_reg = r'<div class="card-summary-content">(.*?)</p>'
title = re.compile(title_reg).findall(html)
content = re.compile(content_reg).findall(html)
title[0] = re.sub(r'<[^>]*?>', '', title[0])
content[0] = re.sub(r'<[^>]*?>', '', content[0])
print title[0]
print '#######################'
print content[0]
```
通过运行上述脚本，我们可以成功地从指定的百度百科页面中提取出标题和内容，并打印出来。
#### 六、注意事项
1. **合法性**：在抓取网页数据时，请确保遵守相关法律法规，不要侵犯他人的合法权益。
2. **反爬虫机制**：一些网站会设置反爬虫机制，比如限制IP访问频率等，需要注意规避。
3. **异常处理**：实际应用中应增加适当的异常处理逻辑，以应对网络不稳定、页面结构变化等情况。
希望本文所述对大家的Python程序设计有所帮助，特别是对于那些希望学习网络数据抓取的朋友们。通过实践上述方法，您将能够更好地理解和掌握Python在网页数据抓取方面的应用。
