Python抓取聚划算商品分析页面获取商品信息并以XML格式保存到本地

Python抓取聚划算商品分析页面，获取商品信息，并将信息以XML格式保存到本地的详细知识点如下： 1. 网络请求与响应处理：文章首先介绍了使用Python标准库urllib2进行网页的请求，以及如何配置请求头（headers），这些请求头通常包含用户代理（User-Agent）和接受的编码格式（Accept-encoding），以模拟浏览器行为，提高请求的成功率和应对网站的反爬虫策略。 2. 编码处理：在网络爬虫中，遇到乱码问题是非常常见的。文中提到了通过sys.setdefaultencoding("utf8")来解决控制台打印汉字报错的问题。此外，还使用了chardet库来自动检测网页编码，从而正确解码网页内容。 3. HTTP请求调试：为了能够看到HTTP请求的头部信息及调试日志，可以设置httplib.HTTPConnection.debuglevel变量的值。这是一种非常有用的技术手段，特别是当需要调试或者了解爬虫是否被网站的反爬虫机制阻拦时。 4. 正则表达式与HTML解析：为了从网页中抽取特定信息，文章介绍了使用正则表达式re以及BeautifulSoup库来解析HTML，定位到商品的标题、价格、图片链接等关键信息。这些工具能够帮助开发者从复杂的HTML文档中提取结构化数据。 5. 异常处理：文章中还包含了一个处理HTTP错误的自定义异常类SpiderDefaultErrorHandler，继承自urllib2.HTTPDefaultErrorHandler。通过重写http_error_default方法，该类可以对网络爬虫过程中遇到的异常进行处理，并将异常信息输出。 6. XML数据保存：爬取到的商品信息需要被保存到本地文件中。文章使用了Python的xml.dom.minidom库来创建XML文件，通过DOM操作对数据进行结构化存储。这是一个比较基础的XML处理方法，适合创建简单的XML文档。 7. 代码封装与模块化：整个抓取过程被封装在不同的类中，如SpiderConfig类用于存储爬虫配置信息，SpiderAuctionDomain类用于存储爬取到的商品信息，SpiderHandler类为爬虫的主体处理逻辑。这种模块化的设计有助于提高代码的可读性和可维护性。 8. 控制台输出控制：在类中设置变量showSrcCode来控制是否显示爬取网页的源代码，这有助于调试程序，也可以在不需要的时候减少输出信息，提升运行效率。 9. 压缩方式选择：文章指出了使用的压缩方式为gzip，并在代码中进行了相应的处理。对于大型网站而言，启用压缩传输可以显著提高数据传输的效率。 10. 文件路径与命名：代码中定义了文件路径location和文件名fileName。这些变量的设置有助于在将爬取的数据保存到本地磁盘时，方便地指定存储位置和文件名。 总结而言，这篇文章通过实例向我们展示了一个完整的使用Python进行网络爬虫的流程，从网络请求的发起，到网页内容的解析，再到异常处理，最后到数据的保存。这个过程涵盖了网络爬虫开发中的很多重要知识点，对于想要学习网络爬虫技术的人来说，是一篇很好的参考资料。