Python爬取数据并写入MySQL数据库的实例

在本实例中，我们将探讨如何使用Python编程语言从网页抓取数据并将其存储到MySQL数据库中。这个过程涉及两个主要部分：数据爬取和数据库操作。 1. **数据爬取**： 数据爬取通常使用Python中的第三方库，如BeautifulSoup和Requests。在这个例子中，我们首先导入了这些库： ```python import requests from bs4 import BeautifulSoup ``` 我们的目标是爬取`http://html-color-codes.info/color-names/`网页上的颜色名称、颜色值和背景样式。我们发送一个GET请求到该URL，并使用BeautifulSoup解析返回的HTML内容： ```python url = "http://html-color-codes.info/color-names/" r = requests.get(url, headers = hdrs) soup = BeautifulSoup(r.content.decode('gbk', 'ignore'), 'lxml') ``` 这里，`hdrs`是一个包含用户代理的字典，用于模拟浏览器访问。`decode('gbk', 'ignore')`用于处理可能存在的GBK编码问题。 然后，我们找到所有的`<tr>`标签（代表表格行）： ```python trs = soup.find_all('tr') ``` 对于每一个`<tr>`标签，我们提取其中的`style`属性和`<td>`标签中的数据： ```python for tr in trs: style = tr.get('style') tds = tr.find_all('td') td = [x for x in tds] name = td[1].text.strip() hex = td[2].text.strip() ``` `name`和`hex`分别代表颜色名称和颜色的十六进制值。 2. **数据库操作**： 为了将爬取的数据存入MySQL，我们需要先连接到数据库： ```python db = MySQLdb.connect("localhost","hp","Hp12345.","TESTDB") cursor = db.cursor() ``` 接着，我们创建一个名为`COLOR`的表，包含`Color`（颜色名称）、`Value`（颜色值）和`Style`（背景样式）三列： ```python cursor.execute("DROP TABLE IF EXISTS COLOR") sql = """CREATE TABLE COLOR ( Color CHAR(20) NOT NULL, Value CHAR(10), Style CHAR(50) )""" cursor.execute(sql) ``` 当我们有了新的数据时，使用`INSERT INTO`语句插入记录： ```python insert_color = ("INSERT INTO COLOR(Color,Value,Style) VALUES(%s,%s,%s)") data_color = (name, hex, style) cursor.execute(insert_color, data_color) ``` 提交事务以保存所有更改： ```python db.commit() ``` 在整个过程中，我们需要注意错误处理和适当的数据库操作，如断开连接和事务管理，以确保数据的完整性和一致性。 总结来说，这个实例演示了如何使用Python结合BeautifulSoup和Requests库进行网页数据爬取，以及如何利用MySQLdb库将这些数据存入MySQL数据库。通过这种方式，我们可以自动化地收集和存储大量网络数据，为数据分析或其他用途提供便利。在实际应用中，应考虑更复杂的错误处理、数据清洗以及对数据库性能的优化。