有些页面并不能直接用requests获取到内容，会动态执行一些js代码生成内容。这个文章主要是对付那些特殊页面的，比如必须要进行js调用才能下载的情况。
安装chrome
wget [https://dl.google.com/linux/direct/google-chrome-stable\_current\_x86\_64.rpm](https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm)
yum install ./google-chrome-stable\_current\_x86\_6
在Python爬虫领域，有些网页的内容不是通过简单的HTTP请求就能获取的，因为它们依赖JavaScript代码的执行来生成或填充页面内容。在这种情况下，无头浏览器爬虫就派上了用场。无头浏览器允许我们模拟一个完整的浏览器环境，执行JavaScript代码，并抓取动态生成的内容。本文将详细介绍如何使用Python结合Chrome的无头模式来实现文件下载。
我们需要安装Chrome浏览器以及对应的ChromeDriver。在Linux环境下，可以使用以下命令下载并安装Chrome：
```bash
wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
yum install ./google-chrome-stable_current_x86_64.rpm
```
接着，安装必要的依赖库和ChromeDriver的匹配版本，例如：
```bash
yum install mesa-libOSMesa-devel gnu-free-sans-fonts wqy-zenhei-fonts
wget http://npm.taobao.org/mirrors/chromedriver/2.41/chromedriver_linux64.zip
unzip chromedriver_linux64.zip
mv chromedriver /usr/bin/
chmod +x /usr/bin/chromedriver
```
确保Chrome和ChromeDriver的版本匹配，因为不同版本的ChromeDriver只支持一定范围内的Chrome浏览器。
接下来，我们将使用Python的Selenium库来控制无头Chrome。导入所需的库并配置ChromeOptions对象：
```python
from selenium import webdriver
from time import sleep
from selenium.webdriver.chrome.options import Options
from selenium.common.exceptions import NoSuchElementException
chrome_options = Options()
chrome_options.add_argument('--no-sandbox') # 解决DevToolsActivePort文件不存在的报错
chrome_options.add_argument('window-size=1920x3000') # 指定浏览器分辨率
chrome_options.add_argument('--disable-gpu') # 谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument('--hide-scrollbars') # 隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument('blink-settings=imagesEnabled=false') # 不加载图片, 提升速度
chrome_options.add_argument('--headless') # 浏览器不提供可视化页面
```
设置下载选项，比如默认下载目录：
```python
prefs = {
'profile.default_content_settings.popups': 0,
'download.default_directory': './filelist'
}
chrome_options.add_experimental_option('prefs', prefs)
```
初始化WebDriver：
```python
cls.driver = webdriver.Chrome(options=chrome_options)
```
然后，可以使用`driver.get()`方法访问URL，`execute_script()`方法执行JavaScript代码，`find_element_by_class_name()`等方法查找页面元素：
```python
cls.driver.get(url)
cls.driver.execute_script('console.log("helloworld")')
subtitle = cls.driver.find_element_by_class_name("fubiaoti").text
```
当需要下载文件时，通常网页会有一个下载链接或者触发下载的按钮。我们可以找到这个元素，然后模拟点击它，触发下载。例如，如果下载链接是一个`<a>`标签：
```python
download_link = cls.driver.find_element_by_css_selector('a.download-link')
download_link.click()
```
等待文件下载完成，可以设置一个定时检查文件是否已存在于指定的下载目录：
```python
import os
while not os.path.exists('./filelist/myfile.ext'):
sleep(1)
```
记得关闭WebDriver：
```python
cls.driver.quit()
```
以上就是使用Python无头爬虫通过Selenium库下载文件的基本流程。需要注意的是，实际应用中可能会遇到各种网页结构和反爬策略，因此可能需要根据具体情况进行调整。同时，对于大规模的文件下载任务，要考虑效率和资源占用，可能需要采用多线程、异步I/O等方式优化。此外，遵循网站的robots.txt规则，尊重版权，合法合规地进行网络爬取是非常重要的。
