实现不同页面抓取的爬虫

在昨天的作业中，有很多人问了我同样的问题，目录，书籍，评论不在同一个页面啊，怎么进行爬取，今天 我以豆瓣为例，教导大家如何维护一个爬虫的url队列，对不同结构的网页分别解析并获取内容