Python爬取4K壁纸 课程设计

""" * Created with IntelliJ IDEA * 作者: Liam * 日期: 2023/12/25 * 时间: 10:55 * 描述: 从网站 http://www.netbian.com 爬取图片并保存到本地 """ import os import time import requests from pyquery import PyQuery as pq # 请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 ' '(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36' } # 请求网页 获取源码 def start_request(url): r = requests.get(url, headers=headers) # 这个网站页面使用的是GBK编码 这里进行编码转换 r.encoding = 'GBK' html = r.text return html # 解析网页 获取图片 def parse(text): doc = pq(text) # 锁定页面中的img标签 images = doc('div.list ul li img').items() x = 0 for image in images: # 获取每一张图片的链接 img_url = image.attr('src') # 获得每张图片的二进制内容 img = requests.get(img_url, headers=headers).content # 定义要存储图片的路径 path = ".\\image\\" + str(x) + ".jpg" # 将图片写入指定的目录 写入文件用"wb" with open(path, 'wb') as f: f.write(img) time.sleep(1) print("正在下载第{}张图片".format(x)) x += 1 print("写入完成") # 主函数 def main(): url = "http://www.netbian.com" text = start_request(url) image_dir = ".\\image\\" if not os.path.exists(image_dir): os.makedirs(image_dir) parse(text) # 程序入口 if __name__ == "__main__": main()