java8集合源码分析-spider-tangpoem:优雅的使用轻量级爬虫框架WebMagic

java8 集合源码分析 spider-tangpoem项目 优雅的使用WebMagic框架，爬取唐诗别苑网的诗人诗歌数据 涉及动态加载技术的选择：PhantomJS、Selenium、HtmlUnit和JS引擎 由于页面爬取到的是非结构化数据，所以数据保存到MongoDB。 更新 2019.6.24 项目放到github上，进行开源 2019.6.21 配置文件补充两个重要新的参数：sleepTime和socketTimeOut，直接使用默认值，效果和以往相同，也可以根据实际状况调整该参数，详细参考 spider.properties 文件 技术准备 IDE：IntelliJ IDEA 2018.3.5 JDK版本：1.8.0_181 数据库：MongoDB 4.0.10 涉及技术： HtmlUnit网页分析工具包，模拟浏览器运行 PhantomJS JavaScriptEngine MongoDB ORM框架 Morphia JUC：Java线程池、线程协作、线程安全类 日志log4j 1.7.25 Java反射 单例模式、工厂模式、代理模式 项目结构 biz包：包括页面爬取逻辑的