Python爬虫抓取论坛关键字过程解析

前言： 之前学习了用python爬虫的基本知识，现在计划用爬虫去做一些实际的数据统计功能。由于前段时间演员的诞生带火了几个年轻的实力派演员，想用爬虫程序搜索某论坛中对于某些演员的讨论热度，并按照日期统计每天的讨论量。 这个项目总共分为两步： 1.获取所有帖子的链接： 将最近一个月内的帖子链接保存到数组中 2.从回帖中搜索演员名字： 从数组中打开链接，翻出该链接的所有回帖，在回帖中查找演员的名字 获取所有帖子的链接： 搜索的范围依然是以虎扑影视区为界限。虎扑影视区一天约5000个回帖，一月下来超过15万回帖，作为样本来说也不算小，有一定的参考价值。 完成这一步骤，主要分为以下几步： 1.获取当前