gecco爬虫和spring结合使用.zip

# gecco-spring gecco爬虫和spring结合使用。1.2.9版本开始支持spring-boot。spring升级到4.x。 ## Download <dependency> <groupId>com.geccocrawler</groupId> <artifactId>gecco-spring</artifactId> <version>x.x.x</version> </dependency>  ## 初始化Gecco 加载完成bean后启动Gecco，可以通过继承SpringGeccoEngine类，初始化你的GeccoEngine，需要特别注意的是GeccoEngine需要用非阻塞模式start()运行: @SpringBootApplication @Configuration public class App { @Bean public SpringGeccoEngine initGecco() { return new SpringGeccoEngine() { @Override public void init() { GeccoEngine.create() .pipelineFactory(springPipelineFactory) .classpath("com.geccocrawler.gecco.spring") .start("https://github.com/xtuhcy/gecco") .interval(3000) .loop(true) .start(); } }; } public static void main(String[] args) throws Exception { SpringApplication.run(App.class, args); } } ## 开发Pipeline pipeline的开发和之前一样，唯一不同的是不需要@PipelineName("consolePipeline")定义pipeline的名称，而是使用spring的@Service定义，spring的bean名称即为pipeline的名称。可以参考： @Service("consolePipeline") public class ConsolePipeline implements Pipeline<SpiderBean> { @Override public void process(SpiderBean bean) { System.out.println(JSON.toJSONString(bean)); } } 也可以使用@Configuration和@Bean定义pipeline。如： @Configuration public class BeanConfigure { @Bean(name="consolePipeline") public ConsolePipeline consolePipeline() { return new ConsolePipeline(); } } ## DEMO 参考源代码中测试用例src/test，有详细的例子