没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
23页
互联网成了海量信息的载体,目前是分析市场趋势、监视竞争对手或者获取销售线索的最佳场所,数据采集以及分析能力已成为驱动业务决策的关键技能。《计算机行业岗位招聘数据分析》旨在利用python编写爬虫程序,从招聘网站上爬取数据,将数据存入到Mysql数据库中,将存入的数据作一定的数据清洗后做数据分析,最后将分析的结果做数据可视化。 爬取招聘网站(智联招聘)上的计算机行业数据,字段为公司招聘链接,公司名称,公司规模,公司性质,职位领域,职位名称,学历要求,职位类别,职位亮点(福利),工资水平,城市,工作经验,简历统计,公司打分,工作地址,职位要求,人员需求,公司业务范围,进行数据清洗及数据维度分析进行数据可视化。 此项目完成之后将大大节约我们查找招聘岗位的时间,它的重大意义是让我们查看工作岗位信息数据进行了数据化、规范化、自动化、可视化管理。它可以帮助我们了解行业的薪资分布、城市岗位分布、岗位要求关键字、岗位经验要求等等一系列的数据。
资源推荐
资源详情
资源评论
数据科学与大数据技术专业
大数据应用开发
综合实践报告
目录
一、 项目需求分析及体系架构...........................................................................................................1
1.1 项目介绍..........................................................................................................................................1
1.2 项目要求..........................................................................................................................................1
1.3 项目意义..........................................................................................................................................1
1.4 数据结构(字段解释及说明).......................................................................................................2
1.5 体系架构..........................................................................................................................................3
二、 实验环境搭建..................................................................................................................................7
2.1 Pycharm ...........................................................................................................................................7
2.2 mysql 数据库 ...................................................................................................................................7
2.3 idea 环境 ..........................................................................................................................................8
2.4 spark 环境搭建 ................................................................................................................................9
三、 数据获取与存储 .............................................................................................................................9
3.1 数据获取..........................................................................................................................................9
3.2 数据存储 .......................................................................................................................................10
四、 数据处理与分析...........................................................................................................................12
4.1 数据处理 .......................................................................................................................................12
4.2 数据分析 .......................................................................................................................................14
五、 数据预测 ........................................................................................................................................18
5.1 数据规格化 ...................................................................................................................................18
5.2 薪资预测 .......................................................................................................................................19
六、 程序部署与展示...........................................................................................................................19
6.1 项目封装 ......................................................................................................................................19
6.2 项目可视化与预测展示...............................................................................................................19
七、 总结 .................................................................................................................................................20
参考文献................................................................................................................................. 20
1
一、项目需求分析及体系架构
1.1 项目介绍
互联网成了海量信息的载体,目前是分析市场趋势、监视竞争对手或者获
取销售线索的最佳场所,数据采集以及分析能力已成为驱动业务决策的关键技
能。《计算机行业岗位招聘数据分析》旨在利用 python 编写爬虫程序,从招聘
网站上爬取数据,将数据存入到 Mysql 数据库中,将存入的数据作一定的数据
清洗后做数据分析,最后将分析的结果做数据可视化。
1.2 项目要求
爬取招聘网站(智联招聘)上的计算机行业数据,字段为公司招聘链接,公
司名称,公司规模,公司性质,职位领域,职位名称,学历要求,职位类别,职
位亮点(福利),工资水平,城市,工作经验,简历统计,公司打分,工作地
址,职位要求,人员需求,公司业务范围,进行数据清洗及数据维度分析进行
数据可视化。
1.3 项目意义
此项目完成之后将大大节约我们查找招聘岗位的时间,它的重大意义是让
我们查看工作岗位信息数据进行了数据化、规范化、自动化、可视化管理。它
可以帮助我们了解行业的薪资分布、城市岗位分布、岗位要求关键字、岗位经
验要求等等一系列的数据。
1.3.1 工作计划
(1)需求文档撰写
(2)数据预处理
(3)数据分析
(4)数据可视化绘图
(5)前端可视化大屏设计与整合
(6)预测算法模型训练
(7)前端预测界面的设计与实现
(8)项目整合
2
(9)实训报告书撰写
1.3.2 项目团队管理
xx:负责需求文档撰写,前端可视化大屏设计与整合、实训报告书撰写、
项目演示、PPT 汇报。
xx:数据分析及数据设计存储、预测模型训练及展示功能实现、负责需求
文档撰写、PPT 制作。
xx:负责数据分析、数据爬取、负责数据预处理、数据可视化绘图、实训
报告书撰写。
xx:负责数据分析、负责需求文档撰写、数据可视化绘图、实训报告书撰
写。
1.4 数据结构(字段解释及说明)
表 1.1 数据结构
字段名称
字段解释
字段内容
url
公司招聘链接
https://jobs.zhaopin.com/158632619261019.html
company_name
公司名称
深圳市珍爱网信息技术有限公司
company_size
公司规模
1000-9999 人
company_type
公司性质
合资
job_type
职位领域
销售业务,大客户销售代表
job_name
职位名称
大客户销售顾问(六险一金+双休)
edu
学历要求
中专
empltype
职位类别
全职
tag
职位亮点(福
利)
五险一金,绩效奖金,带薪年假,补充医疗保险,员工
旅游,节日福利
salary
工资水平
薪资面议
city
城市
杭州-西湖区
workingexp
工作经验
不限
resume_count
简历统计
83
company_score
公司打分
316.07507
work_place
工作地址
西湖区嘉华国际商务中心
require_content
职位要求
任职要求:1、23--35 岁,大专及以上学历(优秀
者可适当放宽);2、形象气质佳,具备丰富的社会
阅历;3、热情,开朗,乐于助人,热爱婚恋工作;
4、情商高,善于挖掘会员内心情感需求;5、具备
销售经验,有顾问式销售经验优先;6、能承受一定
的工作压力。岗位职责:1、负责高端婚恋产品的推
广(电话+面销为主);2、挖掘会员需求,制定与
之匹配的婚恋方案;3、联络、跟进客户,维护良好
剩余22页未读,继续阅读
资源评论
司空良
- 粉丝: 1241
- 资源: 7
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 转载使用许可协议范本(互联网行业)模版.doc
- 软件产业运行情况调研问卷模版.doc
- 软件产品发布管理流程.doc
- 软件仿真多机串行通信.doc
- Python大作业:音乐播放软件(爬虫+可视化+数据分析+数据库)
- 课程设计-python爬虫-爬取日报,爬取日报文章后存储到本地,附带源代码+课程设计报告
- 软件和信息技术服务行业投资与前景预测.pptx
- 课程设计-基于SpringBoot + Mybatis+python爬虫NBA球员数据爬取可视化+源代码+文档+sql+效果图
- 软件品质管理系列二项目策划规范.doc
- 基于TensorFlow+PyQt+GUI的酒店评论情感分析,支持分析本地数据文件和网络爬取数据分析+源代码+文档说明+安装教程
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功