python爬虫中“动态网页”如何爬取.pdf

经常会在一些爬虫群里面看到这样的提问，为什么用Python爬虫请求某个网页时，有时打印的数据不全或者什么数据都没有或者只有html骨架代码。这是因为涉及到了”动态网页数据“这个词了，简单而言，就是后台的数据不是请求网页链接时就已经将数据写入到相应的标签上了，而是利用ajax请求将后台的数据写入到相应的标签上。通常要得到这些数据，可以有两种方式，其一为找到这个ajax请求链接，然后访问这个链接，解析相应的json数据即可；另外一种是使用selenium访问这个网址，等待网页加载完之后，然后解析相应的html标签得到这些数据。 在Python爬虫领域，动态网页的爬取是一个常见的挑战。动态网页是指页面内容不是一次性加载完成，而是通过JavaScript或其他客户端技术异步加载的。当使用传统HTTP请求抓取这类网页时，往往只能得到HTML框架，而关键数据由后续的AJAX请求填充。针对这种情况，有以下两种解决方案： 1. **跟踪AJAX请求**： 动态网页的数据通常是通过额外的AJAX请求获取的。开发者可以使用网络监控工具（如Chrome的开发者工具）来观察这些请求，找出加载数据的URL。一旦找到，可以用Python的`requests`库直接发起请求，获取JSON或XML格式的数据，然后解析并提取所需信息。 2. **使用Selenium**： Selenium是一个强大的Web自动化测试工具，可以模拟真实用户的行为，包括页面的加载、点击、滚动等。在Python中，通过`selenium`库，我们可以创建一个浏览器实例（例如Chrome），并让它打开目标网页，等待页面完全加载后，再通过DOM（Document Object Model）查找并提取数据。比如，可以使用XPath或CSS选择器定位元素，获取其中的内容。 下面是一个使用Selenium的例子，展示了如何获取页面中的商品信息： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import pyquery as pq def get_products(): # 初始化Chrome浏览器 options = webdriver.ChromeOptions() # 添加代理设置（如果需要） # ... driver = webdriver.Chrome(options=options) # 等待指定元素出现 wait = WebDriverWait(driver, 10) wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-itemlist .items .item'))) # 获取页面源码 html = driver.page_source doc = pq(html) # 解析商品信息 items = doc('#mainsrp-itemlist .items .item').items() for item in items: product = { 'image': item.find('.pic .img').attr('src'), 'price': item.find('.price').text(), 'deal': item.find('.deal-cnt').text()[:-3], 'title': item.find('.title').text(), 'shop': item.find('.shop').text(), 'location': item.find('.location').text() } print(product) # 关闭浏览器 driver.quit() ``` 在使用Selenium时，需要注意以下几点： 1. **明确爬取目标**：理解目标网页的数据结构，知道要抓取的信息位于哪个HTML元素内。 2. **选择合适的浏览器驱动**：根据所用浏览器的版本安装对应版本的WebDriver。 3. **设置间隔时间**：为了防止被目标网站识别为爬虫，应在请求之间设定合理的延迟。 4. **处理动态内容**：对于需要交互才能显示的内容，如滚动加载，可以使用Selenium的`execute_script()`方法执行JavaScript代码。 5. **代理设置**：如果需要通过代理访问网站，需正确配置代理服务器和认证信息。 处理动态网页需要理解网页加载机制，善用浏览器开发者工具，以及合理使用如Selenium这样的工具，确保能完整地获取到页面上的所有数据。在实际操作中，还需要注意遵守网站的robots.txt协议，尊重网站的爬虫政策，避免造成不必要的法律问题。