爬取一个网站的所有页面

爬取一个网站的所有页面，并将每个页面的标题、URL和正文内容保存到MongoDB数据库. 这个爬虫示例使用了requests库和BeautifulSoup库来爬取指定网站的所有页面，并使用pymongo库将每个页面的标题、URL和正文内容保存到MongoDB数据库中。它还使用了urljoin函数来处理相对链接的问题。