浅谈selenium如何应对网页内容需要鼠标滚动加载的问题_input.hintselenium资源-CSDN文库

51 浏览量 2020-12-20 14:31:19 上传评论 1 收藏 49KB PDF 举报

资源详情

资源评论

资源推荐

浅谈浅谈selenium如何应对网页内容需要鼠标滚动加载的问题如何应对网页内容需要鼠标滚动加载的问题

相信大家在selenium爬取网页的时候都遇到过这样的问题：就是网页内容需要用鼠标滚动加载剩余内容，而不是一次全部加载

出网页的全部内容，这个时候如果要模拟翻页的时候就必须加载出全部的内容，不然定位元素会找不到，出现报错。

这里提供两种方法供大家参考这里提供两种方法供大家参考

一，通过selenium模拟浏览器，然后设置浏览器高度足够长，最后延时使之能够将页面的内容都能够加载出来

import time

from selenium import webdriver

driver = webdriver.Firefox()

driver.set_window_size(1000,30000)

driver.get(url)

time.sleep(5)

二，通过selenium模拟浏览器下拉操作

from selenium import webdriver

import time

browser.execute_script("window.scrollBy(0,3000)")

time.sleep(1)

browser.execute_script("window.scrollBy(0,5000)")

time.sleep(1)

browser.execute_script("window.scrollBy(0,8000)")

time.sleep(1)

补充知识：补充知识：针对懒加载如何实现针对懒加载如何实现selenium 滑动至页面底部滑动至页面底部page_source一次性包含全部网页内容一次性包含全部网页内容

有时网站使用了懒加载技术：只有在浏览器中纵向滚动条滚动到指定的位置时，页面的元素才会被动态加载。

注意，在加载之前，selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。

那么如何实现加载全部内容了,就需要模拟人滚动滚动条的行为,实现页面的加载

from selenium.webdriver.chrome.options import Options

from selenium import webdriver

from selenium.common.exceptions import TimeoutException

from selenium.webdriver.support.wait import WebDriverWait

from selenium.webdriver.common.by import By

from selenium.webdriver.support import expected_conditions as EC

def scroll_until_loaded(self):

check_height = self.browser.execute_script("return document.body.scrollHeight;")

while True:

self.browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")

try:

self.wait.until(lambda driver: self.browser.execute_script("return document.body.scrollHeight;") > check_height)

check_height = self.browser.execute_script("return document.body.scrollHeight;")

except TimeoutException:

break

这里懒加载并不是一直有效, 当网速不好时,加载超过self.wait()时间, 页面还没加载出来时, 会认为全部加载完成, page_source

里面的代码就会是以前加载出来的, 所以执行翻页操作后, 要执行time.sleep(3), 等待网页加载, 更新html再获取网页源代码

以上这篇浅谈selenium如何应对网页内容需要鼠标滚动加载的问题就是小编分享给大家的全部内容了，希望能给大家一个参

考，也希望大家多多支持软件开发网。

您可能感兴趣的文章您可能感兴趣的文章:python中selenium操作下拉滚动条的几种方法汇总Python selenium 三种等待方式详解(必会)玩转python

selenium鼠标键盘操作（ActionChains）

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

评论0

内容反馈

weixin_38606202

粉丝: 1
资源: 951

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip