在本篇【基于PHP的简单采集数据入库程序【续篇】】中，我们将继续探讨如何使用PHP进行网页数据采集并将内容存入数据库。在上一部分，我们已经学习了如何采集新闻列表页的数据，并将URL存储到数据库的`list`表中。现在，我们的目标是获取这些URL对应的新聞详细内容，并将其存储到一个新的`content`表中。
我们需要创建一个名为`content`的数据库表，用于存储新闻的标题和内容。这个表通常会包含两个字段，例如`title`（标题）和`content`（内容）。表结构可能如下：
```sql
CREATE TABLE `content` (
`id` INT AUTO_INCREMENT PRIMARY KEY,
`title` VARCHAR(255) NOT NULL,
`content` TEXT NOT NULL
);
```
接着，我们从`list`表中获取待处理的URL。为了避免因ID不连续导致的空字段问题，我们需要修改之前的采集逻辑。在采集每一条数据时，我们应该检查数据库中是否存在比当前处理的ID更大的ID，如果有，则取出该条记录并进行处理。以下是实现这一逻辑的PHP代码片段：
```php
$id = (int)$_GET['id'];
$sql = "SELECT * FROM list WHERE id = $id";
$result = mysql_query($sql);
$row = mysql_fetch_array($result); // 取得对应的url地址
$content = file_get_contents($row['url']);
$pattern = "/<dd class=\"dataWrap\">(.*)<\/dd>/iUs";
preg_match($pattern, $content, $info); // 获取内容存放info
$title = $row[1];
$content = $info[0];
// 插入数据库
$add = "INSERT INTO content(title, content) VALUES ('$title', '$content')";
mysql_query($add);
// 检查是否有大于当前id的记录
$sql2 = "SELECT * FROM list WHERE id > $id ORDER BY id ASC LIMIT 1";
$result2 = mysql_query($sql2);
$row2 = mysql_fetch_array($result2); // 取得对应的url地址
if ($row2['id']) {
echo "<script>window.location='content.php?id={$row2[0]}'</script>";
}
```
这段代码首先通过GET参数`id`获取要处理的新闻列表ID，然后从`list`表中选择出相应的URL，使用`file_get_contents`函数抓取网页内容。通过正则表达式匹配获取新闻内容后，将标题和内容存储到`content`表中。如果数据库中还有未处理的URL（即`id`大于当前处理的ID），则跳转到同一个页面，传入下一个ID进行处理。
至此，我们已经实现了从新闻列表页URL到详细内容的完整采集流程。为了提高数据的可用性和用户体验，后续工作可能包括对采集到的内容进行清洗、格式化，例如去除HTML标签、转换特殊字符等。同时，考虑到网页结构可能会变化，可以考虑使用更强大的库如DOMDocument或SimpleXMLElement来解析HTML，以增强代码的鲁棒性。
PHP结合简单的数据库操作可以实现有效的网页数据采集和存储。然而，实际应用中还需要注意版权问题、服务器性能以及数据安全等方面，确保合法、高效且安全地进行数据采集。
