SpringBoot快速开发的爬虫项目.zip

box系列爬虫项目 --- # 1 项目简介 ## 1.1 功能介绍 - 基于WebMagic-0.7.3开源框架实现的爬虫项目 - 基于SpringBoot框架搭建 - 支持爬取主流新闻网站的新闻数据 - 支持爬取东方财富网A股所有股票250日行情，数据量达到100万 - 支持自动更新数据 - 支持CCTV欧洲杯2020比赛数据爬取 ## 1.2 数据落库位置 - 新闻数据存储在MongoDB - 股票数据存储在MySQL的stock数据库 ## 1.3 目前支持爬取网站： ### 新闻 - 腾讯新闻 - 凤凰资讯 ### 股票 - 东方财富 个股信息 - 东方财富 k线信息 - 东方财富 交易日信息 - 东方财富 新股信息 ### 竞技赛事 - CCTV 欧洲杯2020赛事 # 2 使用说明 ## 2.1 数据库准备 1. 准备有效MongoDB、MySQL数据库，并配置到resources/application-dev.yml 2. 初始化数据库 - mongoDB脚本：doc/mongoDB.sql - MySQL脚本：doc/stock.sql ## 2.2 启动程序 1. 执行 src/test/java/com/aposs/box/spider/domain/stock/StockTest.java 的 runStockInfoSpiderTest 方法，即可爬取A股所有股票清单 2. 从com.aposs.box.spider.BoxSpiderApplication类启动项目，即可启动服务定时爬取A股行情 ## 2.3 爬取股票数据说明 ### 2.3.1 初始化 tbl_stock_info 表 - 开始爬取股票k线数据前，需要确认tbl_stock_info表有数据，因为程序是依赖此表中的股票数据执行爬取任务的； - 初始化或更新 tbl_stock_info 表的数据入口为： > com.aposs.box.spider.service.StockSpiderService.runStockInfoSpider - 也可以选择执行 doc/tbl_stock_info.sql 脚本初始化 tbl_stock_info 表数据，但是可能漏掉新股 ### 2.3.2 爬取A股所有股票250日行情 - 以下方法为爬取入口为，传入参数 250 即可开始爬取所有股票250日行情 > com.aposs.box.spider.service.StockSpiderService.runKlineSpider(java.lang.Integer) ## 2.4 通用爬虫（包括各种赛事、新闻爬取） 1. 初始化爬虫元数据表 tbl_spider_mate_data（数据库脚本：doc/tbl_spider_mate_data.sql） 2. 启动项目即可自动爬取相关数据到mongoDB对应的集合中（集合名称为{spider_name}）