【资源说明】 基于Flask的Python全国招聘岗位就业可视化系统源码+项目部署说明+详细注释.zip 1、该资源内项目代码都是经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能。 1 开发环境** * 1 系统:Window 10 家庭中文版。 * 2 语言:Python(3.8.5)、MySQL(5.5)。 * 3 Python所需的库:flask、pymysql、pandas、numpy、time、datetime、requests、etree、jieba、re、json、decimal(没有的话pip或conda安装一下~)。 * 4 编辑器:jupyter Lab(jupyter notebook)、Pycharm(主用)、Navicat。 2 运行说明** 本项目下面有五个.py的文件,下面分别阐述各个文件所对应的功能:<br> * 1 data_collection:分别从前程无忧网站和猎聘网上以关键词`job_name`爬取相关数据。其中,前程无忧爬取的数据主要用来进行相关图表的绘制;而猎聘网上主要为岗位要求文本数据,这部分进行词云的可视化展示。 * 2 data_clean:对爬取到的数据进行清洗,包括去重去缺失值、变量重编码、特征字段创造、文本分词等。 * 3 data_store:将清洗后的数据全部储存到`MySQL`中,其中对文本数据使用`jieba.analyse`下的`extract_tags`来获取文本中的关键词和权重大小,方便绘制词云。 * 4 utils:大多为app调用MySQL数据库中的工具类函数;同时,里面也有引用data_collection、data_clean、data_store等函数,我们也主要使用该工具类进行岗位数据的爬取、清洗和存储。 * 5 app:使用`Python`一个小型轻量的`Flask`框架来进行`Web`可视化系统的搭建,在static中有css和js文件,js中大多为百度开源的[ECharts](https://echarts.apache.org/examples/zh/index.html),再通过自定义`controller.js`来使用ajax调用flask已设定好的路由,将数据异步刷新到templates下的`main.html`中。 * 6 如何运行:先运行utils,提前进行数据采集、数据清洗、数据存储操作,之后更改app修改好`datatable`和`job_name`,这部分信息务必与utils中输入的保持一致(因为发现app一运行的话就会直接给出网页,所以没法在控制台上同步将变量赋值过去*_*)。 * 7 温馨提示:由于我在数据采集部分使用了一个用redis搭建的代理IP池,所以一开始运行的话需要将里面的proxies删掉,使用time.sleep即可(使用代理池能防止被封IP,同时可以更快爬取数据,实现可视化操作)。 3 你将会学到** * 1 Python爬虫:盗亦有道,掌握requests和xpath的相关用法。 * 2 数据清洗:能详细知道项目中数据预处理的步骤,包括去重去缺失值、变量重编码、特征字段创造和文本数据预处理,玩转pandas、numpy相关用法。 * 3 数据库知识:select、insert等操作,掌握pymysql相关用法。 * 4 前后端知识:了解到HTML、JQuery、JavaScript、Ajax的相关用法。 * 5 Flask知识:能快速建立起一个轻量级的Web框架,利用Python实现前后端交互。
- 1
- wxdanniu052024-03-14资源内容详细,总结地很全面,与描述的内容一致,对我启发很大,学习了。
- 2201_759580322023-12-03超赞的资源,感谢资源主分享,大家一起进步!Make程序设计2023-12-06感谢您对资源的认可和支持,互相学习进步,奥利给~~~
- 粉丝: 5738
- 资源: 3570
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助