vue+Node+Koa2爬取github

## 前言 之前[使用 Node.js 开发一个小爬虫](https://github.com/XNAL/node-MovieSpider)，算是初步对爬虫有了一定的了解，但爬取的数据没什么意义。最近使用 GitHub 的频率比较高，所以准备爬取一些 GitHub 的数据玩下。目前爬取了中国区 followers 排名前 100 的大神，以及各个编程语言 stars 大于 1000 的开源项目。 ## 如何使用 // 需要先安装mysql，并创建数据库，可参考源码中的`github_rank.sql` cd vue-github-rank npm install // 启动node服务 gulp nodemon // 本地运行需另开一个终端框口并执行以下命令，然后访问`http://localhost:8080/` npm run dev ## 技术栈 - [Vue.js](https://cn.vuejs.org/)： 前端页面展示。 - [Axios](https://github.com/axios/axios): vue 官方推荐 HTTP 库，请求后端数据。 - [阿里巴巴的矢量图标库 Iconfont](http://www.iconfont.cn/): 页面图标，个人项目中使用起来比较方便。 - [Node.js](https://nodejs.org/en/) + [Koa2](http://koajs.com/)： 后台服务器搭架，（Koa2 需要 node v7.6 以上）。 - ES6/ES7： 后台开发以 ES6 语法为主，并使用了 ES7 中的`async/await`。 - [Gulp](https://gulpjs.com/)： 后台服务器使用，自动化构建工具。 - [Webpack](https://webpack.js.org/)： Vue-cli 自带的。需要配置本地代理`proxyTable`，以及配置`SCSS`的相关 loader。 - MySQL: 数据保存。 - [superagent](http://visionmedia.github.io/superagent/): 比 Node.js 原生 http 模块更好用的客户端请求代理模块。 - [cheerio](https://github.com/cheeriojs/cheerio)：服务端 jQuery，分析网页内容。 - [node-schedule](https://github.com/node-schedule/node-schedule): Node.js 定时执行模块。 ## 说明 1. 关于爬虫爬取数据的说明：目前是每 2 个小时去 GitHub 官网爬取数据，取到的数据会存入数据库中。在爬取的过程中可能会出现单个页面一直无法取到数据的情况，为避免程序一直卡在此步骤，目前是单个页面数据循环请求 50 次，如果仍取不到数据则跳过此项数据的爬取，等待下一次再进行爬取。 2. 数据库字符集需要设置为`utf8mb4`，因为需要存取 emoji 表情。 ## 项目截图 ### 关于（首页）  ### 中国区前 100 大神  ### 目录  ### 项目