web-crawler

网络爬虫 简单的网络爬虫。 从txt文件检索初始URL列表 计算响应中的字符数 收集和处理链接的页面（URL）-不要重复现有的页面 未来：以图/树结构构建和输出URL 将摘要输出到文件。 将来：使用标准日志（Log4j / Logstash） 从内存队列和树/图开始。 未来：使用服务 涵盖的主题： 简单的文件使用 Http调用-使用Jsoup（RegEx也是一个选择） 并发