web数据抓取是一个经常在python的讨论中出现的主题。有很多方法可以用来进行web数据抓取，然而其中好像并没有一个最好的办法。有一些如scrapy这样十分成熟的框架，更多的则是像mechanize这样的轻量级库。DIY自己的解决方案同样十分流行：你可以使用requests、beautifulsoup或者pyquery来实现。
方法如此多样的原因在于，数据“抓取”实际上包括很多问题：你不需要使用相同的工具从成千上万的页面中抓取数据，同时使一些Web工作流自动化（例如填一些表单然后取回数据）。我喜欢DIY的原因在于其灵活性，但是却不适合用来做大量数据的抓取，因为需要请求同步，所以大量的请求意味
