## Express
>项目基于`express`+`sequelize`+`mysql`+`express-validator`
> 基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据
- [x] express
- [x] sequelize
- [x] mysql
- [x] `express-validator`参数表单校验
- [x] 使用`cheerio`解析爬虫页面
- [x] 集成`ejs`模板
- [x] 集成`swaggerUI`接口文档
- [x] `nodemon`项目开发动态热更新
- [x] `dotenv`管理配置系统参数
- [x] 包含接口sign请求验证
- [x] `log4js` 错误日志收集
### 环境要求
>需要安装`node`环境,`mysql`数据库
### 部署运行
```shell
$ git clone https://github.com/ecitlm/Node-SpliderApi.git
$ npm install
# start project dev
$ npm run dev
# starting prd
$ npm run prd
#localhost:3001
```
### 服务器部署
> 在服务器中使用 `pm2` 对 `node` 服务进行进程守护
```shell
#启动进程/应用
pm2 start npm --watch --name tools -- run prd
pm2 restart tools
pm2 stop tools
pm2 delete tools
```
### 数据库
>`mysql`中包含、唐诗300、成语、历史的今天、星座运势(聚合平台数据-需要申请自己的APPCODE)、用户表等数据
> 项目目录`bak-file`文件夹可查看
### 接口文档
>启动项目之后`http://localhost:3001/api-docs/` 可查看接口文档页面
![api.png](bak-file/api.png)
![api2.png](bak-file/api2.png)
### 错误码说明
| 状态码 | 含义 | 备注 |
|------| ---------------------------------- | ---- |
| 200 | 响应正常 | |
| 1001 | 参数无效、如一个不存在的id | |
| 1002 | 参数为空、验证不通过、参数类型错误 | |
| 1003 | 请求签名异常、非法 |
| 404 |请求不存在 |
| 405 | 请求方式错误|
| 9999 | 第三方接口请求异常|
| 500 |系统异常|
### 感谢JetBrains 的支持
JetBrains:https://www.jetbrains.com/?from=Node-SpliderApi
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据 爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
资源推荐
资源详情
资源评论
收起资源包目录
基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据.zip (87个子文件)
WGT-code
.editorconfig 147B
.eslintrc.js 616B
.env 13B
src
app.js 1KB
controller
history-today
rule.js 315B
history-today.js 737B
history-today-detail.js 739B
icon-list.js 1KB
music
song-lrc.js 692B
singer-info.js 769B
search.js 845B
song-info.js 679B
singer-list.js 844B
rank-list-info.js 771B
singer-classify.js 598B
plist.js 615B
plist-songs.js 676B
new-songs.js 593B
rank-list.js 607B
university
university.js 767B
rule.js 733B
tang300.js 440B
jwt.js 427B
web
404.js 163B
index.js 215B
bank-card.js 987B
lunar-calendar.js 855B
job
lagou-positionsearch.js 1KB
position-info.js 2KB
we-app
getUserInfo.js 2KB
idiom.js 311B
163
video-detail.js 976B
joke.js 1KB
tt-news-list.js 3KB
video-list.js 3KB
tt-news-detail.js 685B
down-img.js 2KB
star-detail
star-detail.js 905B
juhe-star-detail.js 816B
idcard-info.js 1KB
utils
request.js 4KB
jwt.js 568B
api-sign.js 693B
swaggerUI.js 748B
log4.js 2KB
crawler-request.js 1KB
middlewares
resAPI.js 526B
openPath.js 94B
interceptor.js 536B
entity
idiomOrm.js 697B
historyTodayOrm.js 638B
userOrm.js 547B
weAppOrm.js 701B
poetryOrm.js 616B
universityOrm.js 833B
starDetailOrm.js 632B
models
history-today
history-today.js 1KB
history-today-detail.js 1KB
university
university.js 1KB
user
User.js 203B
we-app
WXBizDataCrypt.js 2KB
wx-login.js 1KB
star-detail
juhe-star-detail.js 2KB
idiom
CSV.js 890B
idiom.js 547B
poetry
tang300.js 792B
routers.js 3KB
config
orm.js 556B
LICENSE 1KB
webstorm.config.js 317B
jsconfig.json 237B
.prettierrc.js 391B
.prettierignore 38B
.babelrc 140B
.env.development 338B
package.json 2KB
bin
www 276B
.gitignore 90B
.eslintignore 8B
README.md 2KB
views
web
404.html 634B
index.html 979B
error.html 634B
bak-file
api.png 41KB
api2.png 28KB
university.sql 464KB
vtools.sql 11.17MB
共 87 条
- 1
资源评论
JJJ69
- 粉丝: 6222
- 资源: 5780
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功