在Python编程中，多线程是一个强大的工具，尤其在处理大量I/O密集型任务如网页爬虫时。Python提供了两个主要的模块来支持多线程：`thread` 和 `threading`。尽管 `thread` 模块更为基础，但 `threading` 模块通常更推荐使用，因为它提供了更多的高级功能，如线程同步。
本示例中，我们使用 `threading` 模块来创建多线程网页爬虫。爬虫的实现思路遵循了广度优先搜索（BFS）策略，这是一种在网络爬虫中常见的网页抓取方式，确保按照网页间的链接关系依次访问。
爬虫从给定的入口网址开始，下载第一个网页，然后从该网页中提取所有新的链接地址，将它们添加到待下载列表。接着，爬虫会按顺序下载待下载列表中的所有网页，并从这些网页中查找尚未下载的链接，不断更新待下载列表。这一过程持续进行，直到待下载列表为空，表示所有可达的网页都已被爬取。
在Python代码中，定义了一个名为 `Crawler` 的类，它包含了爬虫的主要逻辑。`__init__` 方法初始化了类的实例，包括爬虫名称、起始URL、线程数量以及日志文件。`craw` 方法是爬虫的主要工作流程，它负责管理待下载队列，并控制爬取的深度。`downloadAll` 方法则负责启动多个线程来并行下载网页，每个线程都会调用 `download` 方法来处理单个URL。
`download` 方法创建了 `CrawlerThread` 类的实例，这是一个子线程，用于下载特定的网页。`CrawlerThread` 类并未在提供的代码片段中完整展示，但它应该包含实际的网页下载逻辑，可能包括使用 `urllib` 模块来发送HTTP请求并获取响应，以及使用正则表达式（`re` 模块）来解析HTML文档并提取新的链接。
为了保证线程安全，代码使用了 `threading.Condition` 对象（`g_mutex`）作为锁来协调对共享资源的访问，例如待下载列表和已下载列表。当多个线程同时操作这些列表时，锁机制防止了数据竞争问题，确保了数据的一致性。
此外，代码还维护了几个全局变量，如 `g_pages`（存储所有URL链接）、`g_queueURL`（等待爬取的URL列表）、`g_existURL`（已爬取的URL列表）和 `g_failedURL`（下载失败的URL列表）。这些变量用于跟踪爬虫的状态和进度。
这个Python多线程网页爬虫示例展示了如何结合使用 `threading` 模块和广度优先搜索策略来高效地爬取互联网上的网页。通过合理地分配线程任务并使用同步机制，可以显著提高爬虫的性能，尤其是在处理大型网站时。然而，需要注意的是，实际的网页爬虫还需要考虑更多因素，比如处理网络延迟、重试机制、反爬策略、数据持久化等，以确保爬虫的稳定性和可靠性。
