初学python爬虫，记录一下学习过程，requests xpath os 提取图片并保存本地

众所周知，学习python，不，学习爬虫，爬取就是练练技术，是通往大师路上的阶梯，什么MM图啊，什么斗图啊，就是练技术的，就算爬取下来咱也不会看的。嗯，对，不会看的。 好，言归正传，第一次爬取的就只是把首页的爬取下来了，并没有爬取详情页的，还是不爽的。看的正舒服，换人就扫兴了。对，我是不看的，所以爬到什么我也不知道。 第一次爬取可参考： 第一次的爬取 首页爬取下来看不到详情页得是多大的遗憾啊，所以改进了代码，复制详情页的，提取全部详情页的，这就出来了第二次爬取。第二次爬取可参考： 第二次的爬取 但每次都得进入详情页，复制详情页的，还得输入到，像我这 在Python爬虫的学习过程中，经常会使用到requests、xpath和os这三个库。requests库用于发送HTTP请求，获取网页的HTML内容；xpath是一种在XML文档中查找信息的语言，它同样适用于HTML，用于解析和提取数据；os模块则提供了许多与操作系统交互的函数，包括创建和管理文件目录，以及文件操作。 在这个学习过程中，作者首先尝试了简单的爬取，只抓取了首页的图片，但发现不能满足需求，因为没有获取到详情页的图片。于是进行了第二次尝试，改进代码以获取详情页的图片链接。在第二次爬取时，作者发现每次都需要手动复制详情页的URL，这显然不够高效，所以决定通过分析URL的规律，构造出动态的URL，从而避免手动输入。 作者注意到URL中只有两个参数在变化，通过观察找到了这两个参数的规律，利用这个规律构造了新的URL，实现了从搜索结果页跳转到任意详情页的功能。在解析HTML时，作者使用了lxml库中的etree模块，通过xpath表达式来选取特定的元素，例如提取详情页的图片URL。 在提取图片URL后，作者使用os模块创建了一个文件夹，将图片保存到本地。这里还使用了面向函数编程的思想，将不同的任务封装成不同的函数，如get_html()用于获取HTML内容，mid_paser_html()解析出详情页的URL，f_paser_html()进一步解析出每层图片的URL。此外，为了避免被网站识别为机器人，作者还引入了fake_useragent库，生成随机的User-Agent，使得每次请求看起来像是来自不同的浏览器。 在爬取过程中，作者遇到了一个问题：详情页的第一页URL和其他页的URL不同，需要通过if语句单独处理。解决这个问题后，作者通过拆解和拼接URL，成功获取了所有图片的下载链接。为了提高用户体验，作者考虑到了输入人物名称的方式，通过input()函数让用户在PyCharm中直接输入，减少了操作步骤。 作者提醒到，这个爬虫程序是单线程的，如果要爬取大量页面，会花费较长时间。完整代码中还包括了等待时间（time.sleep(1)）以降低爬取频率，防止对目标网站造成过大压力。同时，作者展示了爬取到的部分图片数量，但并未全部列出，以保持代码的简洁。 这个学习过程涵盖了Python爬虫的基本步骤，包括请求网页、解析HTML、提取数据、动态构造URL以及保存文件等，对于初学者来说是一次很好的实践。在实际应用中，还需要注意遵守网络爬虫的道德规范，尊重网站的robots.txt文件，避免对服务器造成负担。