爬虫有什么用？
• 做为通用搜索引擎网页收集器。（google,baidu）
• 做垂直搜索引擎.(找工作的搜索引擎:
www.deepdo.com,数据来源于：www.51job.com ,
www.zhaoping.com , www.chinahr.com 等等)
• 科学研究：在线人类行为，在线社群演化，人类
动力学研究，计量社会学，复杂网络，数据挖掘，
等领域的实证研究都需要大量数据，网络爬虫是
收集相关数据的利器。
• 偷窥，hacking，发垃圾邮件……（《google
hack》….）
