爬虫反爬机制及其解决方案.docx

1. User-Agent 限制

一些网站会检测请求的 User-Agent 字段，以确定请求是否来自浏览器。

应对方法：

在请求头中添加常见的 User-Agent。

import requests

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,

like Gecko) Chrome/58.0.3029.110 Safari/537.3"

}

为。

� 代理 IP：使用代理池定期更换 IP 地址。

import requests

import time

for i in range(10):

response = requests.get("https://example.com")

print(response.text)

time.sleep(2) # 延迟 2 秒

proxies = {

"http": "http://10.10.1.10:3128",