分布式爬虫

分布式爬虫问题其实也就是多台机器多个 spider 对 多个 url 的同时处理问题，怎样 schedule 这些 url，怎样汇总 spider 抓取的数据。最简单粗暴的方法就是将 url 进行分片，交给不同机器，最后对不同机器抓取的数据进行汇总。然而这样每个 spider 只能对自己处理的 url 去重，没办法全局的去重，另外性能也很难控制，可能有某台机器很早就跑完了，而别的机器还要跑很久，本文介绍python分布式爬虫技术

android编译与ant打包

当一个代码项目大了以后，每次重新编译，打包，测试等都会变得非常复杂而且重复，因此c语言中有make脚本来帮助这些工作的批量完成。在Java 中应用是平台无关性的，当然不会用平台相关的make脚本来完成这些批处理任务了，ANT本身就是这样一个流程脚本引擎，用于自动化调用程序完成项目的编译，打包，测试等。本文介绍了android编译和ant打包原理